
Lambda 用 NVIDIA Photonics 共封装光学交换机连接超万块 GPU,提升 AI 工厂网络能效与可靠性
来源标题:Lambda Boosts AI Factory Resiliency and Efficiency With NVIDIA Photonics
Lambda 采用 NVIDIA Photonics 共封装光学(CPO)交换机,将配备超 1 万块 GPU 的 NVIDIA GB300 NVL72 机架互联,实现更低功耗与更高可靠性。测试显示,机架级网络延迟降低约 4%,集群级降低最多约 10%,吞吐量与常规可插拔光模块持平。
以下正文由 AI 翻译自 NVIDIA Blog(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
训练一个 AI 模型需要数千块 GPU 协同工作,这就要求网络既快速高效,又具备韧性。Lambda 正借助 NVIDIA Photonics 共封装光学(CPO)交换机来解决网络这一环。这家云服务提供商利用该交换机连接 NVIDIA GB300 NVL72 机架,涉及超过 10,000 块 GPU,为大规模 AI 工厂带来更低的功耗、更高的韧性以及更长的平均无中断时间(MTBI)。
“网络必须跟上日益庞大的 AI 集群的需求,”Lambda 云服务总裁 Dave Ward 表示。“将共封装光学引入如此规模的部署,是构建支撑下一代 AI 所需基础设施的重要一步。”
阅读 NVIDIA 在 SC26 上发布的所有公告
在该公司使用这些交换机的测试中,网络延迟——即数据传输所需的时间——在机架规模下降低了约 4%,在 pod 规模下最多降低约 10%。在机架、可扩展单元和 pod 等各种配置下,网络的吞吐量与传统可插拔光学器件保持一致。
大规模交付能效与韧性
提升能效和韧性之所以重要,是因为网络处于 AI 工厂生产力的核心位置。
在大型训练任务中,一条链路中断就可能让数千块 GPU 停滞。在智能体推理中,一次网络中断可能对众多智能体产生级联的延迟影响。每一次中断都意味着时间损失,而花在网络上的每一瓦功耗,都是无法用于计算的功耗。
NVIDIA Photonics 同时解决了能效和韧性两方面的问题。它用交换机封装上的共封装光学引擎取代可插拔收发器,能效比传统可插拔光学器件最高提升 5 倍,可靠性最高提升 15 倍。它使用的激光器数量也减少了 4 倍,这意味着可能发生故障的组件更少。
更凉爽的光学器件与可更换光源提升韧性
Lambda 的部署采用 NVIDIA Photonics 交换机,每台拥有 144 个端口,运行速率为 800Gb/s。液冷将热量从交换芯片和光学引擎带走。
该公司报告的光学器件温度中位数为 36°C,而传统可插拔光学器件为 51°C,其测试还发现信号完整性更加稳定。
NVIDIA Photonics 还将电光转换环节移近了交换芯片。每台交换机配有 18 个可拆卸的外部光源,为光学引擎提供光。光学引擎与芯片位于同一封装内、彼此相邻,将电信号转换为光信号,通过光纤在集群各部分之间传输数据。
技术人员可以在现场更换光源模块,而传统可插拔光学器件在激光器故障时需要更换整个模块。
共封装将电气路径从英寸级缩短到毫米级,从而减少信号损耗。它还省去了对 retimer 芯片的需求,既降低了功耗,也减少了信号路径中的部件数量。
探索 NVIDIA Photonics 并阅读 Lambda 的部署公告。
阅读 NVIDIA 在 SC26 上发布的所有公告
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。