返回资讯中心
外部精选
软件工程
#开发者实时流

循环Transformer原理:复用同一层块多次计算以提升深度

来源标题:Looped Transformers Explained

循环Transformer在预测下一个token前,将内部状态多次送入同一组共享层块,让模型在不增加权重的情况下计算得更深。英伟达于2026年10月发布了一个40亿参数模型,具备可设置中间层运行次数的选项;作者称在两次或以上循环时,该模型在十二项基准上平均优于部分更大模型,但每次额外循环都会增加算力开销,部分循环无收益甚至使答案变差。

Hacker News 最新ladronevincet2026/11/17 · 今天30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

循环式 Transformer 会在给出答案之前,把同一组层多次运行,因此模型无需存储更多权重就能计算得更深。2026 年 10 月,NVIDIA 发布了一个 40 亿参数的模型,它带有一个大多数模型都不具备的设置项:中间层要运行多少次。作者报告称,在两次或更多次循环下,该模型在十二项基准测试上的平均结果优于选定的更大模型。模型本身没有增加任何东西,它只是再次运行了同样的权重。

这一结果正是为什么一个已有十年历史的研究想法如今变成了一项工程决策。它同时也带来了代价。每一次额外的传递都要消耗算力,有些传递毫无收益,还有少数会让答案变差。本指南会展示其机制,让你自己动手运行,并给出判断它所需的数字。

循环式 Transformer 是一种语言模型,它在预测下一个 token 之前,把内部状态多次送过同一组共享层。标准 Transformer 是一个固定的堆栈:36 层意味着 36 步,每一步都有自己的权重,每个权重只用一次。循环式 Transformer 则保留一组较少的层并重复使用。深度不再是磁盘文件的一种属性,而变成了你在运行模型时可以选择的东西。

你还会在其他名称下遇到同一个想法:循环深度、循环深度模型、循环语言模型。它们描述的都是通过共享层进行的重复计算。

循环改变的是激活值,它从不触碰权重。记住这句话,围绕这个主题的大部分困惑就会消失。

循环式 Transformer 有三个部分:读取 token 的输入层、运行多次的共享核心,以及把最终状态转换为下一个 token 分数的输出层。每一次通过核心时,都把上一次传递的结果作为输入。每次传递的权重完全相同,只有状态不同。(Geiping 及同事)

NVIDIA 的 Dory 让这一点变得具体。它有 8 个输入层、一个 20 层的循环块和 8 个输出层,总共存储 36 层。把该块运行四次,模型就执行了 96 层。(Dory 模型卡)

在你按下播放之前,先做一个预测。当你增加一次循环时,哪个数字会增长:模型存储的层数,还是它运行的层数?

那段动画里有三件事很容易被忽略:

参数数量告诉你模型存储了多少,它并不告诉你模型计算了多少。循环式模型把“深度”拆成两个数字:存储深度,即文件中的不同层数;以及执行深度,即在答案出现之前运行的层数。

算术很简单。八个块运行三次,执行 24 个块,同时存储 8 个块。这解释了权重共享的吸引力。但它并不承诺能达到真正 24 块网络的准确率、内存或速度,因为被重复使用的块在每次传递时都必须应对不同的状态。

所以,在阅读模型宣称时要把这两个数字都放在心里。“40 亿参数”描述的是权重,它对答案到来之前发生了多少次运算只字不提。

更小的模型文件并不等同于更便宜的答案。

权重的存储确实变便宜了。答案仍然必须逐次传递地计算出来。这笔交易是否值得做,正是本文其余部分要讨论的内容。

循环增加的是计算,不是信息。当答案可以从模型已有的内容中推导出来时,更多传递会有帮助。它们无法提供同时缺失于提示和权重中的事实。

拿两个事实来说。Alice 比 Bob 先完成。Bob 比 Cara 先完成。问谁最先完成,答案已经在输入里了,只需要把它组装起来。问 Alice 的完成时间,再多的组装也无济于事。两个都试试。

问题 1:谁最先完成?第 1 次传递把两个事实读作两条独立的链接:Alice 在 Bob 之前,Bob 在 Cara 之前。第 2 次传递把它们连接成一条链。第 3 次传递从链上读出答案:Alice。事实已经足够,缺的只是计算。

问题 2:Alice 的完成时间是多少?第 1 次和第 2 次传递算出了相同的顺序。之后的每一次传递都以同样的方式结束,因为输入中任何地方都没有出现时间。一次对比赛结果记录的工具调用就能解决它。缺的是证据,再多次传递也无法创造出来。

这是整个主题中最有用的测试。在你伸手去拿更大的模型或更高的思考设置之前,先问一个问题:模型是缺计算,还是缺证据?循环解决的是前者,检索和工具解决的是后者。

还有一点要提醒。循环给了模型进行更多内部步骤的空间,它并不证明模型执行了我们会在纸上写下的那种整洁、人类可读的步骤。而且“通过迭代进行扩展”是一种需要测量的策略,而不是一条定律:计算进去,质量出来,两者之间的关系必须在真实任务上检验。

在 AI 中,有四样不同的东西都被称为“循环”。循环式 Transformer 在单次前向传递中重复层。思维链重复 token 生成。智能体循环重复模型调用和工具动作。递归自我改进重复系统本身的改进。它们在不同尺度上运作,留下不同的东西,并以不同的资源向你收费。

这些循环可以叠加。在一个软件任务中,内部计算可以帮助解读一个失败的测试,书面推理可以组织一个计划,而工具可以运行那个能解决问题的测试。错误在于看到其中一种循环,就以为其他循环也在发生。

循环属于潜在推理,即在内部表示而非文本中进行中间工作的更广泛实践。权衡在于可检查性。书面推理可以被阅读,尽管它不保证与模型实际计算的内容一致。激活值则完全无法阅读。

这并不意味着隐藏状态就是一段秘密的英文段落,缺少书面推理也不是欺骗或意识的证据。两种情况下的补救方法相同:检查结果。运行测试。重新计算那个数字。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →