返回资讯中心
外部精选
软件工程
#开发者实时流

谷歌云正式上线 Pathways 分布式训练系统,曾用于训练 Gemini

来源标题:JAX single controller used to train Gemini is now GA on GCP

谷歌云宣布 Pathways 分布式系统正式可用,该系统此前用于训练 Gemini 等大模型。Pathways 通过单一客户端将整个计算描述为图,由分布式运行时负责放置和搬运张量,解决非统一任务(如流水线、强化学习循环)的协调问题。谷歌称 Gemini 2.5 训练每小时会多次因硬件故障中断,而 SPMD 模式下单机失联即导致全部进程停止并回滚到检查点。

Hacker News 最新ksadi2026/11/9 · 8 天前30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

抱歉,您的浏览器不支持此视频播放。

今天,我们宣布 Pathways 在 Google Cloud Platform 上正式可用(General Availability)。在本文中,您将了解 Pathways——Google 为训练自家大型模型(包括 Gemini)而构建的分布式系统。我们将讨论 Pathways 如何通过引入一个客户端、将整个计算描述为一张图来应对协调难题,以及分布式运行时如何放置这张图、搬运张量,并让加速器保持忙碌。

大多数大模型训练都以单程序多数据(SPMD)程序的方式运行。每块加速器锁步执行同一个程序,并通过 AllReduce 这类集合通信操作进行协调。

当你的作业就是在每台设备上运行同一个程序时,这种方式效果很好。但当作业不再统一时,它就吃力了——比如流水线的各个阶段要互相等待,或者 RL 循环中采样器、奖励模型和训练器是三个必须重叠执行的不同程序。

大规模训练还必须扛住硬件故障,而 Gemini 2.5 的训练曾每小时被中断多次。在 SPMD 中,一台机器丢失就会让所有进程停下,训练回退到最后一个 checkpoint。在以上每种情况下,挑战都在于协调。你必须决定什么在哪里运行、以什么顺序运行,张量如何在设备之间移动,以及当一台机器掉线时作业如何继续。

在“Pathways on Google Cloud”系列的本篇文章中,您将了解 Pathways——Google 为训练自家大型模型(包括 Gemini)而构建的分布式系统。本文讨论 Pathways 如何通过引入一个客户端、将整个计算描述为一张图来应对协调难题,以及分布式运行时如何放置这张图、搬运张量,并让加速器保持忙碌。

读完之后,您将了解 SPMD 在哪些情况下并非最优、单控制器执行带来了哪些改变,以及 Pathways 如何在整个集群范围内协调一整个训练作业。

如果你训练 PyTorch 模型,几乎肯定会用到分布式数据并行(DDP)或完全分片数据并行(FSDP)。DDP 在每块加速器上运行一份脚本副本,并通过 AllReduce 这类集合通信操作对梯度求平均。FSDP 则将参数、梯度和优化器状态分片到各个 worker 上,从而让模型能够放进内存。

抱歉,您的浏览器不支持此视频播放。

DDP 和 FSDP 都遵循单程序多数据(SPMD)执行模型。每个进程运行同一份脚本副本,在整个运行期间独占自己的加速器,并与其他进程锁步推进,因为它们唯一的协调方式就是 AllReduce 这类集合通信操作。在一个紧密互联的加速器组内部,这些集合通信操作通过高速互连执行,开销很低。而当作业扩展到多个组时,同样的集合通信操作就要跨越数据中心网络,速度慢得多。以 TPU v5p 为例,每颗芯片在其组内可获得 1,200 GB/s 的双向芯片间带宽,但对数据中心网络只有 50 Gb/s(千兆比特,约 6 GB/s),大约低两个数量级。

而且由于每一步都会阻塞在集合通信操作上,这部分通信时间会直接计入单步耗时。跨越的组越多,每一步中用于数据传输的时间占比就越大,因此吞吐量的增长会慢于你新增加速器的数量。

只要你的训练作业是单一程序、能填满你给它的硬件,这种执行模型就很合适。你像只有一台设备那样编写模型,剩下的交给集合通信操作。但把模型塞进内存只是问题的一部分。让每块加速器都保持忙碌才是更难的部分,而这正是 SPMD 模型开始显露局限的地方。

以流水线并行为例。你把模型切分成多个块分布到各设备上,每台设备现在对更小的 micro-batch 运行不同的代码。激活值向前流动,激活梯度向后流动,当设备 0 处理第一个 micro-batch 时,设备 1 和设备 2 在等待。除了你持续付费却闲置的加速器之外,这还降低了利用率和吞吐量,尽管在稳态下每台设备都有工作要做。

抱歉,您的浏览器不支持此视频播放。

另一个例子是 LLM 的 RL 后训练。你有一个采样器负责生成 rollout,一个奖励模型负责打分,一个训练器负责更新策略并把新权重发回给采样器。这是三个应当重叠执行的不同程序;否则采样器在训练器运行时闲置,训练器在采样器生成时闲置。

抱歉,您的浏览器不支持此视频播放。

在这两种场景中,作业现在都是运行在不同设备上的多个不同程序,它们之间的依赖关系已无法再通过单一的集合通信操作来管理。你现在必须协调哪些设备共享哪些张量、哪些进程在其他进程尚未完成时就开始运行,以及提前多久把下一个缓冲区入队,才能让加速器永远不会等待输入。由于每个 worker 只能看到本地的设备和数据,没有任何单个进程能够独自管理所有这些依赖关系。这会带来若干后果。

首先,由于每个进程在整个运行期间独占自己的加速器,且每次集合通信操作都会阻塞直到所有设备完成,一台机器故障就会导致集合通信操作无法完成,进而让整个作业停下,被迫从最后一个 checkpoint 重启。你无法在运行中途添加设备,也无法归还设备。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →