返回资讯中心
外部精选
软件工程
#开发者实时流

研究发现大模型能在填充符上学会部分多步推理

来源标题:LLMs can learn (some) multi-step reasoning on filler tokens

研究显示,LLM 能借助填充符(filler tokens)学会部分多步推理任务,且任务越长所需算法层数越深,无法完全并行化。除 HornQA 外,多数任务的深度增长远慢于步骤数,因此可在超过 40 或 24 步时仍低于模型深度。模加和(modular sum)任务扩展最平缓,最容易在填充符上完成。

Hacker News 最新gmays2026/11/12 · 5 天前13 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

为每个任务找到的最浅算法的层数,随任务长度的变化。这些是上界,不是最小值。虚线是模型的深度。 Opus 构造的具体算法相当杂乱;可以在这里查看。 对于每个任务,我们找到的最浅算法都会随着任务变长而变得更深,因此我们找不到任何方法将它们完全并行化。而且,除了 HornQA 之外,每个任务的深度增长都远慢于步数增长,这就是为什么在远超 40 步或 24 步之后,曲线仍停留在模型深度以下。 我们看到不同任务的扩展方式差异很大。特别是,模和任务——Skaf 等人 (2025) 和 Zolkowski 等人 (2025)[2] 用来研究隐写推理的主要任务——扩展非常平缓,也就是说,它很容易在 filler token 上完成。 为了确保我们确实在测量 filler-token 推理,而不是模型仅仅通过微调在整体上变好、并不依赖于 filler token,我们与仅答案微调进行了比较:模型直接给出答案,没有额外的 token。同时,为了确保学不会 filler-token 推理不仅仅是因为任务太难,我们还与训练模型在这些任务上进行开放式推理进行了比较。两者都是每步使用相同数量样本的微调运行。仅答案的运行使用相同的课程;开放式推理的运行直接在最长长度上训练。 对于 filler-token 推理,我们使用了两种训练方法:课程式和直接式。有些任务/模型组合用其中一种方法效果更好,有些用另一种,因此我们报告在两种方法和多个随机种子下达到的最长 filler-token 推理长度。 在立即作答(无点)、filler-token 推理和开放式推理下学到的最长任务长度。虚线是测试的最长长度。 同样,任务在学习难度上差异很大。同样存在离群值:HornQA,理论上预测难以在 filler token 上学习,在极少数步数后就失败了;而流行的模和则非常容易学会。 但理论和经验上的限制总体上并不一致:有些任务理论上简单但经验上困难(模运算和函数复合在 1–3 步时就撞墙了)。模式似乎是,当大块信息(查找表、前提等)需要跨越 token 位置传输时,模型很难在 filler token 上学习任务。 正如理论部分所示,我们没有为这些任务中的任何一个找到完全并行的 transformer 算法,而且有些任务(A5、GL(3,2))被认为不在 TC⁰ 中。Pfau 等人声称模型无法在 filler token 上完成这类任务,这在任务长度无限的极限下成立。但由于即使是小模型也能学会在 filler token 上完成 60 步,这在实践中可能并不令人欣慰。 多步推理也可以在 filler token 上进行。最近的模型如 Astra 已经显示出在不进行推理的情况下回答推理问题的能力有所增强(Nanda, 2026)。如果这一趋势持续下去,即使循环架构或隐写推理的幽灵没有成真,也可能危及 CoT 的可监控性。 我们的实验作为一种演示,并揭示了对哪些任务可以在 filler token 上学习以及学习难易程度的一些见解。为此,我们使用了一种非标准的训练协议,它通常不是 LLM 训练流程的一部分,而且我们的模型和训练运行规模都相当小。尽管如此,任何不将某些多步推理表达出来的压力,在足够的训练下,都可能导致类似的结果。 我们还学到了很多关于构建用于研究隐写推理的任务的知识。当我们开始时,我们的任务组合中包含了一些其他任务,我们惊讶地发现其中一些任务随着步数增加根本没有变得更难。我们建议其他研究隐写或编码推理的人将他们使用的任务通过类似的测试。 我们按照 RASP(Weiss, Goldberg & Yahav, 2021)的精神,对一个具有有限精度的 transformer 进行建模。电路被分解为层实际可以执行的计算步骤。 每个 token 位置开始时都包含关于其 token 和序列位置的信息。 这些计算的一些限制可以直接从架构中读出,而另一些则必须猜测。 我们将这个模型实现为一个可执行程序,构造的电路必须在其上运行。通过观察电路程序调用层的次数,我们可以读出其深度。 每个课程阶段训练 2,000 个样本。训练期间每 100 步评估 20 个项目,当答案准确率至少达到 0.9 时,该阶段算作通过。最终评估使用 200 个项目。所有其他超参数都在配置中。 注意,“理论上可并行化”和“在实际 transformer 中可并行化”不是一回事。 在论文中,这些分别被呈现为硬币翻转任务(Skaf 等人)和方向跟踪任务(Zolkowski 等人);两者都是模和,只是外面加了一些包装。

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →