返回资讯中心
外部精选
软件工程
#开发者实时流

研究探讨开源模型的可模拟性边界,提出293元素「前沿集」概念

来源标题:The Emulation Frontier

一项分析提出「前沿集」概念:使用量前十和智能水平前十的开源模型中各有7个可被更大的前沿模型模拟,整体构成293个元素的集合。gpt-oss-120b和MiniMax-M3因swigluoai门结构需上投影偏置而位列其中;DeepSeek-V4-Flash和MiMo-V2.5则被各自的-Pro版本覆盖。研究还提出是否存在一个能覆盖所有开源模型子计算的「最小巨型模型」。

Hacker News 最新alexlitz2026/11/17 · 昨天25 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

按使用量排名前十的模型中有 $7$ 个、按智能排名前十的模型中有 $7$ 个位于前沿之列(每一个未列入的模型都注明了覆盖范围最广的、可对其实现仿真的前沿模型)。gpt-oss-120b 和 MiniMax-M3 之所以位于前沿,是因为把它们 swigluoai 门折叠进 SiLU 需要一个 up-projection 偏置,而更大的宿主模型缺少这一偏置。有两个未列入的模型属于中等权重模型,已有同级模型对其实现仿真:DeepSeek-V4-Flash 和 MiMo-V2.5 分别由它们自己的 -Pro 同级模型覆盖。GLM-5.2 由 Hy4-preview 覆盖,而 Mistral-Medium-3.5——它本身仿真了 950 个模型——仍被 Hermes-4-405B 完整覆盖。(Step-3.7-Flash 由 Step-3.5-Flash 评分,后者是 Hub 上最接近的 checkpoint。)

最大(前沿)集合与随时间出现的不同配置的对比,每个类别按其最早的 Hub 上传日期标注。

没有任何一个 huggingface 模型能仿真所有模型(因此前沿集合有 293 个元素)。但如果有这样一个模型呢?它会是什么样子?我们所运行的所有开源模型,可以被视为在计算其某个子集的最小巨型模型是什么?它需要在每个维度上大致达到最大、至高的水平。

在整个模型库上计算,得到一个具体的规格:

RMSNorm(通过中心化实现 LayerNorm)$\cdot$ 学习式 abs 和 RoPE $\cdot$ MHA $\cdot$ 共享 MoE $\cdot$ SwiGLU(外加 GeLU、ReLU、squared-ReLU、mish、SiTU、xIELU、swigluoai 和 PolyNorm 分支)$\cdot$ 顺序或并行块 $\cdot$ 因果、块因果或全掩码 $\cdot$ softmax 注意力 + 一个通用门控 delta 递归 $\cdot$ 非绑定,其中 $h{=}16384$、$L{=}192$、$\mathrm{kv}{=}14336$、$128$ 个 query head,每层 FFN 约 $\sim!2.76\text{M}$ 个专家单元(总计 $530\text{M}$)。

因此总参数约 26.5T(激活约 4.5T)——约为已发布的任何最大模型的 $4.8\times$,约为 Llama-3.1-405B 每 token 计算量的 $11\times$。很大,但并非荒谬:它只是把已经存在的记录堆叠起来的结果。关于这个数字有一点需要注意:它只是规格中的注意力和 FFN 权重。它没有计入递归(SSM)分支,代码为了通用性而稠密地展开了该分支(即使以这种方式承载训练好的 mamba-130m,也需要约 33B 参数的宿主),因此在这些尺寸下,universal.py 的一个字面实例会大得多。更精简的 SSM 布局是工程问题,而非表示问题。

宿主是 elephantine/universal.py:单一架构,其中某个模型家族使用的每一个操作(norm 的中心化、并行残差、部分 RoPE、全掩码、递归、每种激活)都是一个带系数的分支,默认关闭。加载模型意味着打开它的分支并把它的权重复制进去;同一份代码运行下面每一列。

一个 elephantine 层,四种设置:同一份代码,不同的权重和开关。

“已检查”是指对照原模型自己的 transformers 代码:在 float64 下完全一致(达到约 $10^{-12}$ 或更好),并且在发布时的原模型自身 float32 舍入范围内(例如 SmolLM2 的 logits 上为 $2.4{\cdot}10^{-4}$,且每个贪心 token 都相同)。这在 $3{,}906$ 个模型中的 $3{,}531$ 个上成立,且不计任何运行远程代码的测试。另外 $369$ 个(主要是无法运行其远程代码的仓库)由相同的已测试构造逐槽承载。最后六个尚未承载:一个在受限仓库中,五个使用了我尚未分类的递归。你可以试试:hf.co/alexlitz/elephantine 有六种设置(SmolLM2、一个膨胀的 SmolLM2、Pythia、Falcon-H1、一个 Mamba 和一个 Qwen3 扩散 LM),每个文件夹一个:

from transformers import AutoModelForCausalLM m = AutoModelForCausalLM.from_pretrained("alexlitz/elephantine", subfolder="pythia-160m", trust_remote_code=True)

在仓库中,elephantine/load.py 里的 load("org/model") 会为任何受支持的模型构建宿主。可以将其膨胀到任意大小,或为提高效率只运行活跃的操作子集;两种方式权重相同。它是一个证明,不是服务器:它以 float64 计算且没有 KV cache,因此只对小模型实用。对于在 transformers 之外运行模型,模型库提供了可下载的配方:经过测试的 PyTorch、JAX、tinygrad、TensorFlow 和 DyNet 脚本,均对照 transformers 验证过,覆盖 3,334 个模型。

最小通用仿真器与各容量维度上顶级真实模型的对比——它一次性在所有维度上占优。

为什么它竟然比最大的模型还大,而每个维度都只是已有事物的最大值?因为这些记录存在于不同的模型中。没有任何单一 checkpoint 能同时占据每个维度的首位——最宽的 cache 是 bloom 的($14{,}336$,完整 MHA),最深的层数是 Ouro-2.6B 的,最肥的 FFN 是 Kimi-K3.1-Pro 的 $896$ 个专家,最多的 query head($128$)是 DeepSeek-R1 的,与 Llama-405B 及少数其他模型并列。这个并集必须同时容纳所有这些,并且它以自身 $16{,}384$ 的隐藏宽度承载整个 FFN 预算——比它所复制的大多数模型都宽。把没有任何单一模型需要独自承担的记录堆叠在一起,正是将上确界推过其任何组成部分的原因。

elephantine(迄今为止 Hub 上每个模型的并集)与当时最大单一模型的逐月对比。在每个维度上,并集只是该维度的记录;总规模上的差距来自没有任何一个模型同时持有这些记录。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →