A3超级盘算机虚拟机，为大型语言模型LLM和AIGC提供强大算力支持

热门大语言模型项目地点：www.suanjiayun.com/mirrorDetails?id=66ac7d478099315577961758
近几个月来，我们目睹了大型语言模型（LLMs）和生成式人工智能强势闯入我们的视野，显然，这些模型在训练和运行时需要泯灭大量的盘算能力。认识到这一点，谷歌云在谷歌I/O大会上宣布推出一款全新的A3超级盘算机虚拟机。

A3是专门为满意这些对资源需求极高的应用场景的大量需求而打造的。 该公司在一份公告中写道：“A3 GPU虚拟机是专门为当今的呆板学习工作负载提供最高性能的训练而打造的，配备了当代CPU、改进的主机内存、下一代英伟达GPU以及庞大的网络升级。” 具体而言，该公司为这些呆板配备了英伟达的H100 GPU，并与一个专门的数据中心相结合，从而得到了具有高吞吐量和低耽误的强大盘算能力，而且据他们所说，其价格相较于通常购买此类配置所需的费用更为合理。
其具体配置参数如下，它由8块英伟达H100 GPU、第四代英特尔至强可扩展处置惩罚器、2TB的主机内存以及通过NVSwitch和NVLink 4.0实现的8块GPU之间3.6 TB的双向带宽提供动力，NVSwitch和NVLink 4.0是英伟达的两项技术，旨在帮助像本产品中的这些多块GPU之间实现吞吐量的最大化。 这些呆板可提供高达26exaFLOP（每秒百亿亿次浮点运算）的算力，这将有助于收缩训练更大规模呆板学习模型所需的时间并降低相干资本。别的，这些虚拟机上的工作负载在谷歌专门的朱庇特数据中心网络架构中运行，该公司将其描述为“26000个高度互联的GPU”。这使得“可按需调整拓扑布局的全带宽可重构光链路”成为可能。
该公司体现，这种方式也应有助于降低运行这些工作负载的资本。 其目的是为客户提供强大的算力，以训练要求更高的工作负载，无论是涉及复杂的呆板学习模型还是运行生成式人工智能应用的大型语言模型，并且是以一种更具资本效益的方式来实现。
谷歌将通过以下几种方式提供A3：客户可以自行运行它，或者如果他们乐意，也可以选择托管服务，由谷歌为他们负担大部分繁重的工作。自行运行的方式是在谷歌Kubernetes引擎（GKE）和谷歌盘算引擎（GCE）上运行A3虚拟机，而托管服务则是在Vertex AI（该公司的托管呆板学习平台）上运行A3虚拟机。 固然新的A3虚拟机在谷歌I/O大会上宣布推出，但目前只能通过注册预览等候名单来获取利用资格。
热门模型开源项目地点：应用社区 算家云