AWS Storage Gateway

### AWS Storage Gateway 产品介绍

AWS Storage Gateway 是亚马逊云科技（AWS）推出的混合云存储服务，旨在连接本地数据中心与 AWS 云存储服务（如 Amazon S3、Amazon FSx、Amazon Glacier 等），为本地应用提供无缝、低延迟的云存储访问能力，无需重构现有应用架构。该服务通过本地缓存层保留热点数据，同时将全量数据存储于 AWS 云存储，兼顾本地性能与云存储的扩展性、 durability 和成本优势。其核心价值在于帮助企业构建混合云存储架构，实现数据的高效管理、备份、归档和灾难恢复，同时降低总体拥有成本（TCO）。

一、核心定位与产品概述

AWS Storage Gateway 的核心定位是“混合云存储桥梁”，它解决了本地数据中心与云存储之间的连接鸿沟，让企业既能利用云存储的无限扩展性和低成本，又能保持本地应用的低延迟访问需求。其设计遵循三大原则：

• 协议兼容性优先：支持本地应用常用的标准存储协议（NFS、SMB、iSCSI、虚拟磁带库 VTL），无需修改现有应用即可直接访问云存储。
• 混合架构优化：通过本地 SSD 缓存层加速热点数据访问，同时将冷数据自动分层至 AWS 低成本存储 tier（如 S3 Intelligent Tiering、Glacier），平衡性能与成本。
• 数据安全与合规：提供端到端加密（传输中与静态数据）、身份认证与授权、审计追踪等功能，满足 GDPR、HIPAA、PCI DSS 等全球合规要求。

Storage Gateway 提供三种核心产品类型，覆盖不同的混合存储场景：

1. 文件网关（File Gateway）：将 AWS 云存储以文件系统形式（NFS/SMB）呈现给本地应用，适用于文件共享、备份与归档场景。
2. 卷网关（Volume Gateway）：提供 iSCSI 块存储卷，支持缓存模式（热点数据本地缓存，全量数据云存储）和存储模式（全量数据本地存储，云备份），适用于数据库、虚拟机存储场景。
3. 磁带网关（Tape Gateway）：模拟虚拟磁带库（VTL），替代物理磁带库，将数据归档至 AWS Glacier/Deep Archive，适用于长期数据归档场景。

二、核心产品类型与详细功能

2.1 文件网关（File Gateway）

文件网关是 Storage Gateway 中最常用的类型之一，它将 AWS 云存储转换为本地应用可访问的 NFS 或 SMB 文件共享。根据后端存储的不同，文件网关分为两种子类型：S3 文件网关和 FSx 文件网关。

2.1.1 S3 文件网关

S3 文件网关以 Amazon S3 为后端存储，将 S3 存储桶映射为本地 NFS/SMB 文件共享。本地应用通过标准文件协议访问共享，网关自动将热点数据缓存于本地 SSD，冷数据存储于 S3，并支持通过 S3 生命周期策略进一步归档至 Glacier/Deep Archive。

核心功能：

• 协议支持：
  • NFS 协议：支持 v3 和 v4.1，包含 ACL 权限控制、伪文件系统（Pseudo Filesystem）、异步写入等特性。
  • SMB 协议：支持 v2.1、v3.0、v3.1.1，包含 SMB 加密（传输中数据加密）、 oplock（ opportunistic locking）、NTFS 权限映射等 Windows 兼容特性。
• 本地缓存优化：
  • 缓存层：采用 SSD 存储热点数据，缓存大小可配置（虚拟网关支持 150GB~64TB，物理网关支持 up to 1PB）。
  • 缓存策略：基于 LRU（最近最少使用）算法自动替换冷数据，确保热点数据始终在本地。
  • 写入机制：本地写入先缓存于 SSD，再异步同步至 S3，保证本地应用的低延迟写入体验。
• 数据管理与生命周期：
  • 文件元数据保留：支持保留文件的创建时间、修改时间、访问时间、权限（NFS ACL/SMB NTFS ACL）等元数据。
  • S3 生命周期集成：通过 S3 生命周期策略，自动将超过指定时间的文件从 S3 标准存储迁移至 S3 Intelligent Tiering、Glacier 或 Deep Archive，降低存储成本。
  • 文件版本控制：支持 S3 版本控制，保留文件的历史版本，可恢复误删除或修改的文件。
• 安全与合规：
  • 传输加密：NFS 支持 TLS 1.2 加密，SMB 支持 SMB 3.0+ 加密。
  • 静态加密：S3 存储的数据默认使用 AES-256 加密，支持 AWS KMS 自定义密钥或 S3 托管密钥。
  • 权限管理：集成 AWS IAM（控制网关对 S3 的访问权限）和本地 AD（控制 SMB 文件共享的用户权限）。
  • 审计追踪：通过 AWS CloudTrail 记录网关的 API 操作，通过 Amazon CloudWatch Logs 记录文件访问日志。
• 扩展性与性能：
  • 文件共享数量：每个网关支持 up to 1000 个文件共享。
  • 单文件大小：支持 up to 5TB 的单个文件。
  • 吞吐量：虚拟网关支持 up to 10Gbps 网络吞吐量，物理网关支持 up to 40Gbps。
• 灾难恢复：
  • 多站点部署：支持在多个本地数据中心部署网关，共享同一 S3 存储桶，实现跨站点数据同步与故障转移。
  • 快速恢复：若本地网关故障，可在新网关挂载 S3 存储桶，快速恢复文件访问。

典型场景：企业文件服务器备份、跨区域文件共享、媒体资产归档、Web 内容缓存。

2.1.2 FSx 文件网关

FSx 文件网关以 Amazon FSx for Windows File Server 为后端存储，提供与 Windows 生态深度兼容的 SMB 文件共享。它适用于需要 Windows 特定功能（如 NTFS 权限、DFS 命名空间、文件快照）的本地应用场景。

核心功能差异（与 S3 文件网关对比）：

• Windows 深度兼容：
  • 支持 NTFS 精细权限控制（如文件级 ACL）。
  • 集成本地 Active Directory（AD），使用 AD 用户/组管理文件共享权限。
  • 支持 DFS Namespaces（DFS-N）和 DFS Replication（DFS-R），实现跨站点文件共享与同步。
• 文件快照与恢复：
  • 支持 FSx 自动 hourly 快照（保留 up to 1000 个快照）。
  • 支持从快照中恢复单个文件或整个文件系统，无需恢复整个卷。
• 高性能存储：
  • 后端 FSx 采用 SSD 存储，提供 up to 200,000 IOPS 和 sub-millisecond 延迟。
  • 支持 FSx 的性能调整（如动态增加 IOPS），满足高负载应用需求。

典型场景：本地 Windows ERP/CRM 应用存储、Windows 文件服务器迁移、Windows 应用灾难恢复。

2.2 卷网关（Volume Gateway）

卷网关提供 iSCSI 块存储卷，供本地应用（如数据库、虚拟机）直接挂载使用。它分为两种模式：缓存模式（Cached Volumes）和存储模式（Stored Volumes），分别适用于不同的性能与成本需求。

2.2.1 缓存模式（Cached Volumes）

缓存模式下，卷网关将热点数据缓存于本地 SSD，全量数据存储于 AWS S3（以 EBS 快照格式）。本地应用通过 iSCSI 访问卷，读取热点数据时直接从缓存返回，冷数据从 S3 拉取并缓存；写入数据时先存储于缓存，再异步同步至 S3。

核心功能：

• iSCSI 协议支持：支持 iSCSI v3 协议，包含 CHAP 认证（Challenge-Handshake Authentication Protocol）、多路径 I/O（MPIO）等特性。
• 卷配置：
  • 卷类型：支持 thick 或 thin provisioned 卷。
  • 卷大小：每个卷 up to 16TB，每个网关 up to 32 个卷（总容量 up to 512TB）。
• 缓存机制：
  • 缓存大小：虚拟网关 up to 64TB，物理网关 up to 1PB。
  • 缓存策略：LRU 算法，自动缓存热点读/写数据，确保低延迟访问。
• 数据保护：
  • 增量快照：支持手动或自动（按计划）创建增量 EBS 快照，仅存储变化的块，节省空间与时间。
  • 快照保留：快照存储于 S3，支持 up to 1000 个快照 per 卷。
  • 灾难恢复：可将快照恢复为新的 iSCSI 卷，或直接挂载至 AWS EC2 实例。
• 加密与安全：
  • 传输加密：iSCSI 流量支持 CHAP 认证与 IPsec 加密。
  • 静态加密：S3 中的快照数据默认使用 AES-256 加密，支持 AWS KMS 密钥。
  • 权限管理：通过 AWS IAM 控制网关对 S3/EBS 的访问权限。
• 性能优化：
  • 低延迟：热点数据本地缓存，读延迟 sub-millisecond。
  • 吞吐量：支持 up to 10Gbps 网络吞吐量（虚拟网关）或 40Gbps（物理网关）。

典型场景：本地 Oracle/SQL Server 数据库存储、虚拟机磁盘存储、高 IOPS 应用数据存储。

2.2.2 存储模式（Stored Volumes）

存储模式下，卷网关将全量数据存储于本地磁盘（HDD/SSD），并异步将增量快照备份至 AWS S3。本地应用直接访问本地存储，获得最高性能；云存储仅用于备份与灾难恢复。

核心功能差异（与缓存模式对比）：

• 数据存储位置：全量数据保留于本地，S3 仅存储增量快照。
• 本地存储要求：需要本地磁盘容量等于卷总容量（如 16TB 卷需 16TB 本地磁盘）。
• 恢复机制：若本地存储故障，可从 S3 快照恢复全量数据至新的本地卷，恢复时间取决于数据大小与网络带宽。

典型场景：高 transaction 本地数据库（如金融交易系统）、对延迟敏感的应用、本地数据备份至云。

2.3 磁带网关（Tape Gateway）

磁带网关模拟虚拟磁带库（VTL）和虚拟磁带驱动器，替代传统物理磁带库，将数据归档至 AWS Glacier 或 Glacier Deep Archive。它兼容主流备份软件（如 Veritas NetBackup、Commvault、IBM Spectrum Protect），无需修改备份工作流即可实现云归档。

核心功能：

• 虚拟磁带库组件：
  • 虚拟磁带库（VTL）：每个网关支持 up to 10 个 VTL。
  • 虚拟磁带驱动器：每个 VTL 支持 up to 100 个驱动器（如 LTO-5/LTO-6 模拟）。
  • 媒体 changer：自动管理磁带的加载与卸载。
• 磁带管理：
  • 虚拟磁带创建：支持创建 100GB~5TB 的虚拟磁带。
  • 磁带生命周期：
    • Active 磁带：存储于本地缓存，可快速访问。
    • Archived 磁带：迁移至 Glacier/Deep Archive，降低存储成本。
    • Retrieval：从归档恢复磁带至本地缓存，支持三种检索模式（Glacier）：
      • Expedited：1~5 分钟恢复。
      • Standard：3~5 小时恢复。
      • Bulk：5~12 小时恢复。
  • 磁带删除：支持安全删除虚拟磁带（符合 DoD 5220.22-M 标准）。
• 协议与兼容性：
  • iSCSI 协议：支持 iSCSI v3 用于 VTL 访问。
  • Fibre Channel 支持：通过 AWS Storage Gateway 物理 appliance 支持 Fibre Channel 协议。
  • 备份软件兼容：支持所有主流备份软件，无需修改备份策略。
• 加密与安全：
  • 传输加密：iSCSI/Fibre Channel 流量支持 CHAP 或 Fibre Channel 加密。
  • 静态加密：Glacier/Deep Archive 中的磁带数据默认使用 AES-256 加密。
  • 权限管理：通过 AWS IAM 控制网关对 Glacier 的访问权限。
• 成本优化：
  • 低归档成本：Glacier Deep Archive 成本低至 $0.00099/GB/月（AWS 美国东部区域，2024 年价格）。
  • 无硬件成本：替代物理磁带库，节省硬件采购、维护与存储空间成本。

典型场景：长期数据归档（如医疗记录、金融交易日志）、物理磁带库替代、合规性数据存储（需保留 10+ 年）。

二、技术架构与部署选项

2.1 部署选项

Storage Gateway 支持两种部署方式，满足不同企业的基础设施需求：

• 虚拟 Appliance：
  • 支持的 hypervisor：VMware ESXi（6.7+）、Microsoft Hyper-V（2016+）、KVM（CentOS/RHEL 7+）。
  • 资源要求：
    • CPU：至少 4 vCPUs（推荐 8 vCPUs）。
    • RAM：至少 16 GB（推荐 32 GB）。
    • 存储：本地 SSD 用于缓存（大小根据网关类型调整）。
  • 优势：快速部署，无需额外硬件投资。
• 物理 Appliance：
  • 硬件规格：AWS 提供的 rack-mountable 服务器（2U 高度），配置：
    • CPU：2x Intel Xeon Scalable 处理器。
    • RAM：192 GB DDR4。
    • 存储：up to 1 PB SSD 缓存。
    • 网络：4x 10/25 GbE 端口，支持 Fibre Channel（可选）。
  • 优势：高性能（Fibre Channel 支持、大缓存），适用于无虚拟化基础设施的企业。

2.2 技术架构细节

文件网关架构：本地应用 → NFS/SMB 协议 → 文件网关 → 本地缓存 → AWS S3/FSx。热点数据存储于本地缓存，冷数据存储于云。写入操作先缓存，再异步同步至云。

卷网关（缓存模式）架构：本地应用 → iSCSI 协议 → 卷网关 → 本地缓存 → AWS S3。读操作优先从缓存获取，写操作先缓存再同步至 S3。快照数据存储于 S3。

磁带网关架构：本地备份软件 → iSCSI/Fibre Channel → 磁带网关 → 本地缓存 → AWS Glacier/Deep Archive。Active 磁带存储于缓存，Archived 磁带存储于云。

三、技术优势与差异化

• 无缝混合集成：无需修改现有应用，直接使用标准协议访问云存储，降低迁移成本。
• 性能与成本平衡：本地缓存保证低延迟，云存储分层降低成本（如 Glacier Deep Archive 成本仅为物理磁带的 1/10）。
• 数据 Durability：AWS 云存储提供 99.999999999%（11 个 9）的数据 durability，远高于本地存储或物理磁带。
• 全球合规支持：符合 GDPR、HIPAA、PCI DSS、SOC 等 100+ 全球合规标准，满足企业合规需求。
• 弹性扩展：云存储无限扩展，无需采购额外本地硬件即可应对数据增长。
• 统一管理：通过 AWS 控制台集中管理所有网关、监控性能指标、配置生命周期策略，简化运维。

四、典型应用场景与实践

4.1 企业文件服务器云备份与归档

场景：某制造企业拥有 10TB 本地文件服务器，存储设计文档、产品手册等数据。现有备份方案采用物理磁带，恢复时间长，且磁带维护成本高。

解决方案：部署 S3 文件网关，将本地文件服务器数据同步至 S3。使用 S3 生命周期策略，将超过 1 年的文件迁移至 Glacier Deep Archive。配置 hourly 快照，确保数据安全。

收益：备份恢复时间从 2 天缩短至 1 小时；存储成本降低 70%；无需维护物理磁带。

4.2 本地数据库云存储与 DR

场景：某金融企业使用本地 Oracle 数据库（20TB），需要高性能存储与可靠的灾难恢复方案。

解决方案：部署卷网关（缓存模式），创建 iSCSI 卷供 Oracle 使用。本地缓存 4TB 热点数据，全量数据存储于 S3。配置 hourly 快照，同步至 AWS 跨区域 S3 存储桶。

收益：数据库读延迟降低至 0.5ms；灾难恢复 RTO（恢复时间目标）从 24 小时缩短至 2 小时；存储成本降低 50%。

4.3 物理磁带库替代

场景：某媒体企业拥有 500TB 物理磁带库，存储旧视频内容，每年维护成本超过 10 万元。

解决方案：部署磁带网关（物理 appliance），替代物理磁带库。使用 Commvault 将视频数据备份至虚拟磁带，再归档至 Glacier Deep Archive。

收益：每年节省维护成本 10 万元；存储成本降低 80%；恢复时间从 3 天缩短至 12 小时。

五、运维管理与最佳实践

5.1 部署最佳实践

• 使用 SSD 作为缓存存储，避免 HDD 导致的性能瓶颈。
• 配置 10Gbps+ 网络连接，确保网关与 AWS 之间的高吞吐量。
• 采用 AWS Direct Connect 替代公网，降低数据传输延迟与成本。

5.2 缓存管理最佳实践

• 缓存大小应至少为热点数据的 1.2 倍，确保足够的缓存空间。
• 通过 CloudWatch 监控缓存命中率（目标 >90%），若命中率低则扩大缓存。

5.3 成本优化最佳实践

• 使用 S3 Intelligent Tiering 自动分层冷数据，无需手动配置生命周期策略。
• 对于长期归档数据，优先选择 Glacier Deep Archive 而非 Glacier。
• 删除 unused 虚拟磁带、快照或网关，避免不必要的成本。

5.4 安全最佳实践

• 启用传输加密与静态加密，确保数据安全。
• 使用 AWS KMS 自定义密钥，增强数据控制权。
• 通过 CloudTrail 与 CloudWatch Logs 实现审计追踪。

六、总结

AWS Storage Gateway 是一款功能强大的混合云存储服务，通过三种核心产品类型（文件、卷、磁带）覆盖企业的备份、归档、存储与灾难恢复需求。它以标准协议为桥梁，连接本地与云存储，兼顾性能与成本，帮助企业构建高效、安全、弹性的混合云存储架构。无论是文件共享、数据库存储还是长期归档，Storage Gateway 都能提供成熟的解决方案，是企业数字化转型中的关键工具。

了解更多 AWS Storage Gateway 产品详情，请访问：

登录后查看

https://aws.amazon.com/cn/storagegateway" rel="noopener noreferrer" target="_blank" style="color: rgb(230, 0, 0, null, null, null, null, null, 9, null, 0, 0, null, 0, null, 0, null, 0, 0, null, 0);">https://aws.amazon.com/cn/storagegateway