
Domyn在JUPITER超算上测试欧盟开源模型EUROPA,参数规模近1万亿
来源标题:Europa, the EU's open AI model, is aiming for nearly 1T parameters
意大利公司Domyn已在德国JUPITER公共超算上完成欧盟开源AI模型EUROPA的训练试验,测试配置参数达9519亿,超过欧盟委员会所设最低要求的两倍。Domyn称训练速度比试验初期提升14倍,但尚未公布模型权重,也未给出发布时间。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
Domyn正在公开的JUPITER超级计算机上测试EUROPA的配置,后者是欧盟委员会选定的开放AI模型。
意大利公司Domyn已在一台公共超级计算机上对EUROPA——欧盟的开放AI模型——进行了训练试验。测试配置拥有近1万亿参数,是欧盟委员会设定最低要求的两倍多。欧盟委员会于6月选定Domyn来构建EUROPA,该公司在2026年11月12日的一篇技术文章中描述了这些试验。
参数是模型在训练过程中学习到的内部设置。在其测试配置中,EUROPA拥有9519亿个参数。这台名为JUPITER的超级计算机位于德国于利希,与数百个其他项目共享。Domyn表示,它使在这台机器上的训练速度比测试开始时快了14倍。
Domyn尚未发布EUROPA的权重,即保存其参数并允许任何人在自己的硬件上运行模型的文件。该公司计划在EUROPA发布时一并公布这些文件以及训练方法的详细信息。文章中未给出日期。6月,媒体Declic Media报道称,Domyn的目标是“在年内”发布。
2026年2月13日,欧盟委员会启动了前沿AI大挑战赛。该赛事由欧盟委员会与EuroHPC联合体共同举办,后者负责监管欧洲的公共超级计算机网络。目标是选定一个项目来训练一个前沿模型——即顶级AI系统——至少拥有4000亿参数。获胜者可在一年内获得EuroHPC总计算能力最多2.5%的使用权。
6月19日,欧盟委员会公布了获胜者:EUROPA联合体。总部位于米兰、前身为iGenius的Domyn领导该团队。其合作伙伴是弗劳恩霍夫研究网络旗下的两家德国研究所——IAIS和IIS。欧盟委员会希望开放模型可供公共机构、研究人员和企业使用。EUROPA还必须覆盖欧盟全部24种官方语言。
“欧洲可以按照自己的方式在先进AI领域引领潮流,”欧盟委员会负责技术主权、安全和民主的执行副主席Henna Virkkunen表示。
Domyn表示其目标是约1万亿参数,即当今前沿模型的规模。欧盟委员会的最低要求是4000亿。
EUROPA采用了一种名为“专家混合”的设计。网络被拆分为384个专门的子网络,称为专家。模型以称为token的小单元读取文本,每个token大致相当于一个词或词的一部分。对于任意给定的token,384个专家中只有8个参与工作。因此,在9519亿参数中,每个token只有328亿参数处于活跃状态。这减少了所需的计算量。
在训练过程中,模型以65,536个token的序列读取文本。Domyn指出,这些数字来自其试验,“部分数值在训练正式启动前可能会有所变化。”
据于利希研究中心介绍,JUPITER是欧洲首台百亿亿次超级计算机。这意味着它每秒可执行超过一百亿亿次运算。EuroHPC联合体拥有这台机器,并投入2.5亿欧元。德国联邦政府和北莱茵-威斯特法伦州各出资1.25亿欧元。
Domyn使用的是JUPITER的Booster模块,这是该机器的一个分区,拥有5,884个节点——构成整台机器的联网计算机。每个节点配备四块NVIDIA GH200芯片。每块芯片将一个通用处理器(CPU)与一个GPU配对,后者是执行大部分AI数学运算的处理器。
据Domyn称,这种规模的模型大多是在NVIDIA较新的Blackwell芯片专用集群上训练的。在JUPITER上,Domyn仅拥有用户级访问权限。这意味着它无法更改操作系统、网络或节点内存,这些均为科学模拟而配置。
节点之间的网络是瓶颈。训练可以并行运行模型的多个副本,每个副本跨越96个节点上的384块GPU。这些节点必须交换数据。但两个节点之间的链路比GPU与其所在芯片上CPU之间的链路慢36倍。
起初,每块GPU每秒处理90个token,大部分时间都在等待来自网络的数据。Domyn首先着手加长文本序列,让GPU在交换之间有更多工作可做。团队随后将一些中间数据——计算的临时结果——移至CPU内存,以释放GPU上的内存。
Domyn还将优化器中最繁重的部分——一种名为Muon的算法——从CPU移至GPU。优化器在每个训练步骤(一轮学习)中调整参数。其在每个步骤上的耗时从41.7秒降至2.2秒。
其他改动减少了通过网络传输的数据量。专家的权重——即其参数的值——现在以FP8格式压缩传输,每个值8位。梯度——每个步骤计算出的修正值——以bf16格式传输,每个值16位。
一项内存管理修复将吞吐量——每秒处理的token数——提高了21%。最终,每块GPU每秒处理1,293个token,而开始时为90个。Domyn将其修复贡献回了PyTorch和TorchTitan——它用于训练模型的开源软件。
据Domyn称,按此速率,模型的一个副本每天处理约430亿个token。在1,536块GPU上并行运行四个副本时,该公司估计总量约为每天1500亿个token。在这一规模下,每块GPU保持了单副本运行时89%的速度。
意大利日报《Quotidiano Nazionale》推断,完整的预训练——从原始文本学习的主要阶段——大约需要四个月。
文章开头称该公司“最近已开始训练”一个前沿规模的模型。然而,文章其余部分仅描述了试验。吞吐量数字是中位数,是在每次试验的第4至第10步之间测得的。配置在训练正式启动前也可能发生变化。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。