Core Automation 提出跨集群训练立场，呼吁真正分布式学习

我们认为，前沿领域的学习算法应当协同开发，以最大限度地利用这个世界上的算力。 z z z tl;dr：这是一篇关于跨集群训练的立场文章，也是一份关于真正分布式学习的行动号召。我们在两个规模不同、GPU 类型不同、相隔近半个地球、通过 25 Gbps 双向链路互联的集群上，训练了一个稀疏 mixture-of-experts 模型。效果非常出色。我们还重新审视了 butterfly mixing，用八个学习器之间的成对交换取代 all-reduce，结果与标准训练相当。 训练算力很少以一整块连续资源的形式出现。市场上更多的是分散在众多 neocloud 中的零散集群，规模从几百到几千块 GPU 不等。把这些资源加在一起，总量可以相当可观。 加速计算部署的最大瓶颈不是芯片本身，而是电力、电网设备和土地，而且预计到 2028 年之前都会如此。微软 CEO Satya Nadella 直言：“你可能实际上有一堆芯片堆在库存里，我却插不上电”（DCD）。 开发者和公用事业公司在“通电时间”上仍然错位，关键枢纽的差距还在扩大（Bloom Energy）。燃气轮机已被预订到 2028 年（Bloomberg），大型变压器现在需要三年多才能到货（Reuters）。仅一个季度内，当地反对就导致至少 20 个项目流产（Heatmap）。高盛预计，美国未来一到两年计划上线的数据中心容量中，只有 50–60% 能按时投运，低于约 72% 的历史水平（Goldman Sachs）。 20 MW 以下的站点通常可以直接接入现有电网，但对于更大的设施，就需要在电网、输电和发电厂上进行大量投资。 现代前沿训练栈假定使用单一同地集群，因为主流做法是使用成熟且被充分理解的同步分布式训练。在这项工作中，我们探索了过去十年中分布式训练里不那么流行但正在兴起的研究。在我们看来，阻碍大多数组织的瓶颈不是算力的绝对数量，而是把算力孤岛转化为一次有价值的前沿训练的能力。 10 月 25 日，Elon Musk 直截了当地指出了这个问题： “我认为我们会看到大量算力被困在未完工的数据中心里。” 在 X 上的同一次交流中，有人指出，构建和提供智能所需的加速器需求仍然无法满足。Musk 回复说，只有当你能让这些算力上线并稳定运行时，这才有帮助，而他称这“在大规模下极其困难”（X）。 所以问题不仅是园区缺电。更大的差距在于，从拥有 GPU 到可靠地把它们转化为有价值的 token，包括让它们参与一次前沿训练。 如果一个团队的训练栈能够使用任何地方的算力，无论规模大小、无论可用时间长短，那么这个团队实际上能拥有多少前沿训练算力？ 未完工建筑里的硬件需要电力、冷却、网络和资金。 一个完全健康的集群，对于一个期望得到一个大而统一、永不宕机的集群的任务来说，仍然可能毫无用处。 软件对第一个问题无能为力。第二个问题则完全在它的能力范围内。 训练算法和更好的软件栈可以让算力孤岛对前沿训练有用。 我们的论点建立在越来越多的文献和日益强大的训练运行之上。我们在本博客中的贡献是一个分两部分的实践案例研究。首先，一个总参数约 32B、32 倍稀疏度的 mixture-of-experts 模型，在相隔约 9,000 英里的两个集群上完成了训练。值得注意的是，这些集群使用了不同的加速器（GB300 和 B300）、不同的并行方案和不同的总 batch size。这使我们能够混入更多加速器类型，以达到特定的算力预算。其次，我们用 butterfly mixing 取代了 all-reduce，学习器成对交换模型片段。 我们结合了更好的传输调度、通信上的误差反馈、稳健的故障处理，以及一种源自 Distributed Shampoo 的更强优化方法，并建立在 DiLoCo 等现有工作之上。在相同算力下，跨两个站点训练在我们的两项评估上都比标准训练低约 1% 的 bits per byte。 市场已经在以非常不同的形态出售算力，从多年合同到单节点一小时。1 多年期的大规模、可预测配额。 Nebius 和 CoreWeave 向 Microsoft 和 Meta 出售了多年期容量，交易价值高达 194 亿美元。 AWS、Lambda 和 Together AI 出租从单节点到数百块 GPU 的集群，时长从几小时到几个月。 SF Compute 按小时出售 GPU 时间，并允许买家转售未使用的部分；National Compute Grid 则汇集跨云的闲置容量。 低通信训练比当前的 LLM 扩展周期更古老。降低并行 worker 同步频率的想法可以追溯到几十年前，并不断被重新发现，最明显的是在联邦学习中。有四条工作路线支撑了当今的方法，其中大多数来自 2010 年代： 联邦学习又增加了两个要素：把每个 worker 在交换之间的参数变化视为伪梯度，并对其应用单独的外层优化器。自 2022 年以来，这些想法已在大型语言模型上得到测试，并在优化质量、弹性和成本方面给出了良好证据。 还值得注意的是，这里有两个不同的家族，因为它们解决不同的约束，并且可以组合在一起。 每个站点都持有完整副本，这些方法减少副本通信的频率和数量，例如 DiLoCo、DisTrO 和 DeMo。 一个模型被拆分到参与者之间，参与者彼此传递激活值，例如 SWARM，

（原文较长，此处译出前 6000 字，完整内容请点「打开原文」。）