
EUROPA联盟在JUPITER超算上完成万亿参数MoE模型预训练
来源标题:Training a 1T-Parameter MoE on EU public infrastructure
EUROPA联盟在EuroHPC的JUPITER超算上成功实现约1万亿参数MoE模型的预训练,单GPU吞吐从90提升至约1300 tokens/秒。该实验基于384块NVIDIA GH200 GPU(每数据并行副本96节点),借助PyTorch与TorchTitan完成,属于EuroHPC Frontier AI Grand Challenge项目的一部分。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
在共享的公共基础设施上,对一个约1万亿参数的混合专家(MoE)模型进行预训练扩展,此前被认为因独特的架构和互连瓶颈而不可行。然而,通过利用PyTorch和TorchTitan的细粒度灵活性,EUROPA联盟成功在JUPITER上实现了前沿规模的训练,作为EuroHPC Frontier AI Grand Challenge的一部分,在每DP副本384块NVIDIA GH200 GPU(96个节点)上,将每GPU吞吐量从90 tokens/秒提升至约1,300 tokens/秒。
EuroHPC Frontier AI Grand Challenge旨在证明主权、开源的AI能够利用共享公共资源在前沿水平上竞争。在此过程中,我们——由Domyn、Fraunhofer IAIS和IIS组成的EUROPA联盟——被选中开发一个开放的欧洲混合专家(MoE)模型,参数至少400B,支持全部24种欧盟官方语言,并严格符合欧盟AI法案。
在本文中,我们描述如何将预训练扩展到JUPITER上的1T MoE,JUPITER是托管于Forschungszentrum Jülich的EuroHPC百亿亿次超级计算机,证明公共基础设施确实能够支撑前沿规模。
表中列出了本文实验中使用的配置。
这种规模的模型通常在其开发者运营或专供租用的集群上训练。而JUPITER是由公共资金资助的研究基础设施,由数百个项目共享。它也被设计用于支持大规模科学研究,这导致了一些在AI领域不太典型的架构选择,我们将在本文后面详细描述。因此,在保持可行吞吐量的同时达到1T参数规模,需要超越标准分布式技术的精细优化。
为了获得对预训练设置进行细粒度优化所需的灵活性,我们选择使用PyTorch和TorchTitan。在这些条件下,我们在384块GH200 GPU(96个节点)上将每GPU吞吐量从90提升至约1,300 tokens/s。我们希望分享达成这一目标的主要里程碑,每一个都建立在TorchTitan的设计之上,并为TorchTitan和PyTorch做出了回馈贡献:
完整报告详细涵盖了其余变更,包含交互式图表和性能分析器跟踪记录。
每个JUPITER Booster节点有四块NVIDIA GH200 Grace Hopper超级芯片。每个超级芯片将一个Hopper GPU(96 GB HBM3)与一个72核Grace CPU(120 GB LPDDR5X)配对,通过900 GB/s的NVLink-C2C链路连接。节点内的GPU通过NVLink 4连接,每方向150 GB/s,每个节点有四个InfiniBand NDR200适配器,每GPU约25 GB/s。
图2. JUPITER节点内的带宽,按比例绘制。所有跨节点流量都通过细窄的InfiniBand链路离开。
除加速器外,系统的两个关键部分也与设计相关:
这些约束决定了并行布局:384路FSDP,每个节点内4路专家并行,无流水线并行。MoE token的all-to-all难以重叠,因此我们将其保留在NVLink上。没有流水线并行,步骤往往更短,这具有在大规模下提供快速反馈的优势,固定成本通过384个序列、每序列65,536个token的大批次(每步约25M token)来分摊。FSDP已经为我们提供了第n+1层gather与第n层计算的重叠,因此剩余的大部分工作在于使重叠有效。我们通过三个维度实现这一点:转向更长序列以计算更长时间、减少通过InfiniBand传输的字节数,以及利用Grace内存提供足够的总容量来容纳模型、梯度和优化器状态。
我们对除路由器和嵌入(约占参数的99.5%)之外的每个权重矩阵使用Muon,其余使用AdamW。Muon每个参数需要一个fp32状态,而Adam需要两个。去除第二个状态对于使65,536 token的序列 fit 进内存至关重要。
Muon通过几次Newton-Schulz迭代对每个更新进行正交化,这些迭代作用于整个矩阵。由于FSDP将每个矩阵拆分为384个分片,简单实现会在一个rank上收集每个矩阵,在那里运行Newton-Schulz,然后将结果分散回去。在我们的互连上,这种通信太昂贵了。
FlexShard(现已纳入TorchTitan)让我们控制哪个rank拥有哪些参数。我们按整个专家对专家进行分片,因此每个rank拥有完整的专家矩阵,并在完全无需通信的情况下运行其Newton-Schulz迭代。密集矩阵(如注意力投影)仍然收集在拥有rank上,每个rank在密集矩阵传输期间处理自己的专家,从而重叠通信。
借助FSDP的CPU offload,优化器在Grace上运行,参数存储在那里,在72个Arm核心上运行Newton-Schulz每步约需35秒。我们为TorchTitan贡献了在GPU上运行Newton-Schulz而参数保持offload的支持。优化器步骤从41.7秒降至2.2秒,吞吐量从每GPU 441提升至597 tokens/s(+35%)。
图3. Rank 0从80秒开始的性能分析步骤。上:Newton-Schulz在Grace上运行,反向传播后GPU空闲约34秒,同时CPU进行计算。下:Newton-Schulz在Hopper上运行,优化器仅占步骤的一小部分。
在我们的设置中,每层gather的权重体积不依赖于token数量,因此更长的序列增加计算时间而不影响通信。我们最初只在层边界存储激活,并在反向传播期间重新计算层内所有内容。在TorchTitan中这被称为FullAC。由于GPU在基线步骤的大部分时间处于空闲状态,额外的计算并未延长它。结果,在32,768 token时,吞吐量从每GPU 90提升至370 tokens/s。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。