
开发者运行超千次实验,对比2020年以来各类LLM架构改动
来源标题:I Tried Every LLM Architecture Change Since 2020
一名开发者将过去六年开放实验室和研究者的LLM架构改动放进同一实验设置,运行超1000次实验进行对比。结论是GPT-3以来最好的架构改动是细粒度MoE、线性注意力和hyper-connections。文章还提到,有观点认为架构重要性有限,数据和预训练、后训练设置才是主要收益来源。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
2026年10月30日·34分钟阅读·架构·预训练·缩放定律 GPT-3之后最好的架构改动是细粒度MoE、线性注意力和超连接。 架构研究是眼下光环最强的岗位之一。 翻开任何一份技术报告,架构都占了相当大的篇幅。它周围还笼罩着一层神秘感,仿佛这些东西都是某些超级大脑盯着原始张量打印输出、看到范数爆炸,然后想出流形约束超连接之类的东西。 要正确地比较架构也很麻烦,原因有三个: 还有一种观点认为,架构大概没那么重要。 真正的巨大收益来自数据以及恰当的预训练(尤其是后训练)配置调优。有传言说前沿实验室训练的是史上最无聊的 transformer,还有“预训练已死”的说法,以及“旧数据配现代架构 vs 现代数据配旧架构”的争论。 我想把开放实验室和研究者过去六年做出的架构决策放进同一套设置里,看看哪些站得住脚。 于是我跑了 1,000 多个实验,先单独尝试各项改动,再把胜出的改动叠加起来,看有多少提升能保留下来。 这个“超级消融”我想了一年多。编程智能体终于让它能在合理的时间内做完了。 所有这些奇奇怪怪的模型我都用 bux 训练,那是我为架构实验搭建的框架。你可以定义一个架构、训练它、把它导出到 vLLM,并同时衡量质量和推理速度。 训练数据是 Stack-Edu 中的代码文件和完整 Python 仓库,再加上 FineWeb-Edu 的网页文本,优化器用 AdamW。训练从 2k token 序列开始,最后做 16k 上下文扩展。配方如下: 每个架构都做一次简短的学习率扫描:在 d=512d=512d=512 时取 1e-3、2e-3 和 4e-3,对那些声称有助于稳定性的改动再加 8e-3。我在对数学习率上拟合一条抛物线,并在更大的模型中复用其最小值。 我在留出数据上以每字节比特数(BPB)衡量质量:0.5 × 代码文件 + 0.3 × 完整仓库 + 0.2 × 网页文本。仓库以 16k token 窗口读取,所以长上下文也算数。越低越好:-2% 意味着每字节少 2% 的比特。 只改变随机种子,目标值就会波动约 0.7%。相同种子的运行看到的数据和顺序都相同,所以我们总是比较共享同一种子的运行。这把比较的噪声降到约 0.3%。 在 Mellum,我关心的是在我们的推理约束内能拿到多好的模型。所以我给每个架构相同的服务预算。如果某项改动让服务更便宜,我就把省下的钱花在更大的模型上。 基线是类 GPT-3 的:GPT-3 6.7B 的形状,d_model 4096,32 层,完整多头注意力。它运行在 vLLM 0.32 加 bux 插件上,FP8 权重、激活和 KV cache,跑在一块 B300 上。工作负载大致模拟一个编程智能体:每个会话有共享的 2k token 前缀、14k token 自己的上下文,然后 4 轮,模型写 512 token 并收到 2k token 的工具结果。前缀缓存开启。 我统计每 GPU 每小时能处理多少会话,同时每个输出 token 的中位时间保持在 30 ms 以下。基线是 1,924 会话/小时。每个架构都必须达到这个水平,我再衡量它能负担多大的模型。 每个架构我训练两到四个小模型:每个改动都有 d=512d=512d=512 和 d=768d=768d=768,有希望的再加 d=1024d=1024d=1024 和 d=1280d=1280d=1280。然后我拟合一条缩放定律,预测它们在匹配服务预算的规模下的质量: 免责声明:别把这当成真正的科学研究,也别比这套设置允许的程度更相信结果。 明显的顾虑有: 在进入各项具体改动之前,先快速解释一下图。每张图最多有三个面板: 第一个面板是我在小模型上测到的。第三个是外推到更大模型的,带着上面列出的所有问题。下面同等服务成本下的损失变化来自第三个面板。 还有三个我会反复提到的模型: TokensToken 嵌入vocab 50.3kLayerNormnormbias多头注意力attn16 头 · 头维度 64 · RoPE 10kLayerNormnormbias前馈ffn4,096 隐藏 · GELULayerNormnormbias线性输出层vocab 50.3k · 绑定Logits2021 参考模型参数量253Md_model1,024词表50,304层操作67残差x + f(x)解码器块16 参考模型,在 bux studio 中绘制。四张架构图都用 d=1024d=1024d=1024 和 16 个解码器块。token 从下往上流;×n 表示重复一个块。 点击任意图可查看原尺寸。 图源。 未展示、每参数差得多:到处 NoPE、单独 post-norm、DyT。 每个点是对 GPT-3 + RoPE 的一项改动。越靠右意味着每参数质量越好。越靠上意味着服务越便宜,这让我能用同样的钱换更大的模型。 最突出的是细粒度 MoE 和线性注意力。用 MoE,一个激活参数大约相当于稠密模型中 4-5 个参数。线性注意力混合体提升了每参数质量,服务成本也便宜 2-7 倍。 然后是 GQA、MQA、MLA 和滑动窗口。它们主要靠削减 KV cache 起作用。每参数质量略差,但我能服务大 4-9 倍的模型。在这套设置里这是笔好买卖。 其他一切都靠得近得多。Norm、MLP、位置和残差改动对服务成本影响很小。有些能让小模型匹敌参数量 1.2-2 倍的模型,但到我真正想服务的规模时,那顶多是 1-2% 的提升。往往什么都没有。 以下是单独表现最好的。这些是对 GPT-3 + RoPE 的预测,同等服务成本和 1T 训练 token:
- 在 d=512d=512d=512 时,每 8 层中有一个全局层;在 d=768d=768d=768 时是每 6 层一个。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。