NetApp MetroCluster

1、双活方案概述

Clustered Metro Cluster(简称MCC)是Netapp Data Ontap提供的存储双活解决方案，能够增强NetApp硬件和ONTAP存储软件的内置高可用性和无中断运行功能，为整个存储和主机环境提供一层额外保护。通过将1个FAS/V系列存储的双控，利用光纤或光纤交换机将控制器距离拉远，形成异地HA Pair，控制器间通过SyncMirror实现Aggr级别的数据镜像，存储镜像物理分离。为进一步提升本地控制器的冗余度，在本地和异地分别放置两个控制器，本地两个控制器组成一对HA Pair，本地和异地两对集群再形成四节点集群，互相保护。

2、方案特点

（1）存储层组网：Metro Cluster存储层组网非常复杂，主从站点支持300公里FC组网；SAN Cluster最大支持12控，NAS Cluster最大支持8控；在下图的4控制节点组网中，需要同时配置3种网络互联设备，6种网络类型，12套网络设备：包含4套FC-to-SAS转换设备、4套FC交换机、4套10GE交换机；引擎内双控间不支持PCI-E互联，需通过外部10GE/4GE以太网络互联；第三站点仲裁可选择IP链路，可以将TieBreaker仲裁软件直接安装Linux主机上。

登录后查看
登录后查看

Metro Cluster里面涉及几类数据同步，包括两个集群配置同步，NVRAM的日志同步，以及后端磁盘同步，系统里面这3类数据同步采用不同的网络。两集群配置同步网络：通过专用冗余TCP/IP网络，由CRS (Configuration Replication Service)服务实时同步两个集群的配置数据，确保集群一端修改的配置，如新增IP，SVM或者新增、删除用户共享等配置操作，能够自动同步到远端HA Pair集群；NVRAM日志同步网络：使用额外冗余的FC-VI集群适配器连接两个跨站点的主控，FC-VI支持RDMA，支持Qos等功能，用于两个集群间的NVRAM同步和心跳，既能保证心跳的优先级，同时又能减少数据的写I/O的传输次数，因为RDMA支持批量获取一组地址空间技术，批量获取一组地址以后，后面就直接传输数据，将FC协议2次写优化成接近1次；后端数据下盘双写网络：控制器与存储阵列间采用了独特的FC-to-SAS设备，控制器数据传输采用的是FC网络，而后端磁盘阵需要通过SAS进行连接组网，因此需要先进行FC和SAS转换(Fibre Bridge)，用指定思科和博科型号专用交换机连接两个站点控制器与后端磁盘，并完成协议转换。

（2）Metro Cluster集群：Metro Cluster每个控制器的NVRAM都分成4个区域，分别用于存取节点本地日志、HA Pair Partner日志、远端HA Pair Partner日志以及远端HA Pair auxiliary日志（用于切换）。当新请求写操作时，先写到本地，再同步到本地HA Pair的NVRAM，以及远端的DR Pair的NVRAM后，返回成功；当本地控制器故障以后，优先将业务切换到HA Pair节点上；控制器恢复以后，自动切换回来，只有当整个站点都故障时，业务才会切换到远端的站点运行。切换时间控制在120s以内完成，不影响上层业务。

登录后查看
登录后查看

（3）SyncMirror同步：SyncMirror是Netapp双活的核心数据同步技术，在NVRAM日志下盘时，实现主从站点的盘的双写。SyncMirror工作在Aggregate层上，镜像的Aggregate由2个Plex组成，来自本地Pool0的Plex0和远端的Pool1的Plex1。写流程：当有NVRAM日志开始刷盘时，写请求会同时写到本地的Plex0和远端的Plex1, 两边同时写成功以后，返回成功。读流程：数据会优先从本地Plex0读数据，远端的Plex1的读权限需要命令打开，默认情况下，远端Plex1不提供读业务。

登录后查看

Plex在站点内单边故障的时候，通过Aggregate的快照来进行增量恢复，默认Aggregate里面预留空间用于做Aggregate的快照，作为Aggregate重新同步的基准数据。如果没有做快照，一个Plex故障以后恢复，需要做全量同步。

（4）AP架构：NetApp MCC方案是基于磁盘镜像的架构，对上层应用只看到一个LUN/文件系统，通过镜像Aggregate实现双活，正常情况下，读从本地Plex读取数据，写会将数据同步到本地和远端两个Plex。无论是2节点还是4节点的MetroCluster集群，同一时刻，LUN/文件系统还是只能提供给组成集群HA Pair集群的一个节点，只有当这个节点故障以后，HA pair的Partner节点才会接管提供业务，或者当整个站点故障以后，从站点HA pair集群才会接管业务，站点切换可以通过手动执行CFOD命令或者通过TieBreak仲裁软件触发自动切换。因此从其本质上来说，为一套阵列的不同引擎间的双活，并非同一LUN的双活，因此仅仅是Active-Passive模式下的阵列双活。

（5）异构虚拟化：能够接管现网异构存储，但不支持FAS系列本地磁盘与异构存储间双活，支持相同厂商、相同型号，相同FirmWare的两套异构存储之间实现双活；接管异构存储时将破坏原来阵列数据，接管前需要将原阵列数据迁移至别处，接管之后将原来的数据迁移回来。

（6）丰富的增值特性：FAS全系列产品（FAS3240, FAS3210, and FAS3270 ,FAS2xxx除外 ）均支持MetroCluster，且无需单独license，产品基础包已包含该功能；能够同时支持SAN和NAS双活，实现块存储和文件存储一体化双活；其他增值功能支持SSD加速，快照，复制，数据压缩，精简配置，重删等特性；