阿里云引领智算集群网络架构的新一轮厘革

阿里云引领智算集群网络架构的新一轮厘革

云布道师

11 月 8 日~ 10 日在江苏张家港召开的 CCF ChinaNet（即中国网络大会）上，浩繁院士、教授和业界技能首脑齐聚一堂，泛论网络未来的发展方向，聚焦智算集群网络的创新厘革。此中，阿里云研发副总裁，根本办法网络负责人蔡德忠老师发表题为《规模 x10 驱动 AI 智算集群网络架构新一轮厘革》的主题演讲，预测智算技能发展趋势，尤其是 Scale up 网络的发展方向，提出智算网络未来的技能架构厘革的新思绪，发布了高通量以太网协媾和智算超节点体系ENode+ 的路标规划，引起广泛关注。
已往一年，阿里云 HPN7.0 引领智算以太网生态发达发展

模子的连续 scaling ，以及数据集的扩充，对于模子训练的总盘算量要求不绝在增长，业界总结发现，算力需求量每年增长 4-6 倍，而单颗芯片的算力增长、显存增长、网络带宽增长仍旧遵照摩尔定律，每 2 年才一倍，无法满足算力增长的需求，以是算力来自于将更多的 GPU 举行集群化互联，网络在算力scaling 中饰演关键的脚色。
在 2023 年初的时间，智算集群的网络方案选择照旧百花齐放的状态，Google 有基于私有协议的 TPU 集群，微软利用了 NV 提供的一整套 IB 方案，而阿里云、 AWS 等公司对峙利用开放的以太网来构建集群。**一时间，以太网照旧 IB ，成为智算集群架构选择的关键话题。**阿里云刚强以太网的蹊径，而且针对智算集群的特点创新操持了 HPN7.0 架构，采取业界首发的全自研 51.2T 交换机，利用多轨、双上联、双平面，联合自研通讯库、协议、流控构成高性能体系。阿里云在大规模摆设 HPN7.0 智算集群的同时，其论文被顶会 SIGCOMM 登科，成为网络顶会汗青上首篇 AI 智算网络架构论文。
一年多时间已往了，阿里云 HPN7.0 已经成为业界标杆，引领了以太网智算集群的技能方向，如今国表里各大公司都在朝着这个方向演进，北美几大公司都已经大概即将基于以太网来摆设十万卡级别的算力集群，关于智算集群以太网和 IB 的争议已经落幕，以太网正在成为超大规模智算集群的行业主流。
未来几年， X10 规模将给网络带来新的告急题目

固然以太网和 IB 的选择已经画上句号，但是新的挑衅还在继续。在智算集群的规模化方向上，各大公司你追我赶，国内公司的智算集群也将很快向 X10 规模迈进，尤其是在算力受到限定的情况下，通过网络互联扩展规模更有须要。GPU 规模的扩展并不是想象中这么简单：不可克制的硬件故障将导致使命停止会更加频仍；受限于电力、空间， GPU 资源大概会分布在差异园区，隔断带来的时延和带脱期制会对整个训练集群的性能产生影响；尤其是 GPU Scale up 范围也将更大，智算集群的网络架构也会因此产生深远的厘革。
通过更大带宽的网络互联是算力扩展的必经之路，这是从团体体系架构层面突破摩尔定律限定的告急路径。在这个方向上，无论 Scale up 、 Scale out 都须要更加激进的规划。
GPU Scale up 协议蹊径之争， Ethernet 上风显着

到底什么是 Scale up ？简单来讲， Scale up 就是在肯定范围内、在资本和互联技能束缚下实现的超高带宽互联。这个超高带宽互联的范围固定而且带宽是 Scale out 的数倍以上，可以在协议层面优化来支持内存语义。
**不少人以为 Scale up 是机内互联，这是一种误解。**在 8 卡体系的期间，由于 8 卡在一个 OS 内部以是确实是机内互联，然而，当 NVL36 、 72 这种AI rack 的形态出现后， GPU Scale up 就不是“机内互联”，而是一种新型的节点间网络互联。以 NVL72 为例，现实上是 18 台服务器通过9台Scale up交换机连在一起的网络域，只不外是在这个域内的带宽 10 倍于 Scale out 的大的带宽（ 7.2Tbps vs 800Gbps ），别的还支持了内存利用语义，为了区分，我们继续称其为 GPU Scale up 。

GPU Scale up 是 AI 体系发展的一个热门话题，备受关注。Scale up 网络大要上可以分成 2 个技能方向。

• 以 NV 、 Google 为代表的私有协议、封闭体系方案（ NVLink 和 TPU 互联）
  
• 以各大互联网和云盘算公司自研 GPU （微软、 Meta 、 Tesla 等），以及 AMD 、 Intel 为代表的基于Ethernet 的网络传输方案
  

Ethernet 有超大带宽技能和强盛的生态支持，尤其是 UEC 、高通量以太网等开放构造针对 Scale up 举行协议的升级后， Ethernet 支持超大带宽的同时实现了超低时延、在网盘算等焦点功能，以是我们可以看到新晋 Scale up 体系都选择了 Ethernet ，可以说 Ethernet 这些特质已经成为 GPU Scale up 网络快速落地的首选技能方案。
盘算和网络的新厘革，Scale up 融合架构上风显着

Scale up 与 Scale out 怎样协同工作是决定集群网络性能的关键。在本日的单机 8 卡体系中，通过多轨互联、并行排布、通讯库协同，阿里云的 HPN7.0 架构已经将万卡级别的通讯性能发挥到极致。那未来 Scale up 扩展到多机体系，尤其是成百上千卡之后， Scale up 与 Scale out 应该怎样协同做到全局服从最高呢 ？机尾 backend 会继续沿着 Scale up + Scale out 两张网络各自发展，照旧会融合分身 ？
当 Ethernet 成为 Scale up 的主流方案之后，这个选择方向呼之欲出，融合架构将是服从更高、资本更低的架构。融合架构将使带宽得到充实共享， Scale up 范围内举行大带宽的 TP 、 EP 、 CP 等通讯，多个 Scale up 域通过 Scale out 互联，举行 DP 、 PP 等通讯，跨 Scale up 实现公道的带宽收敛即可。同时，独立Scale out网卡+网络的资本也不容小觑，如果将 Scale up 和 Scale out 的以太网融合为一张网，通过将差异的 Scale up 域举行Scale out 互联组网，不光少了一张网络和网卡的投入，在运维、扩展上也将更加同一高效。

未来可期，高通量以太网发布关键路标和超节点 ENode+ 操持

在大会上，阿里云代表同盟发布了高通量以太网的协议蹊径图，规划了年度大版本，半年小版本的演进方式，为国内智算生态的快速发展迭代打好网络根本。同时发布了基于高通量以太网的 ENode+ 超节点蹊径，为高通量以太网的体系化落地构筑蓝图。