返回资讯中心
外部精选
软件工程
#社区热议

研究者提出Latent Lattice架构,让语言模型在层间维持更多计算状态

来源标题:Latent Lattice Language Models

研究者提出Lattice of Latents架构,通过沿时间递归运行的逐层水平潜在流,增加模型维持的活跃计算状态数量。在20B FineWeb-Edu token上训练的406M参数模型中,该架构将验证困惑度从15.41降至14.40(参数量匹配的Transformer)。与混合Transformer-SSM不同,这些潜在状态直接参与注意力、KV缓存写入、MLP计算和解码。

Hacker NewsE-Reverance2026/11/17 · 今天5 分钟阅读

以下正文由 AI 翻译自 Hacker News(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

语言模型通常通过更深的层、循环层和隐式推理步骤来增加每个token的计算量,同时更丰富的残差连接改善了跨层的信息流动。我们则不同,我们增加的是计算容量:模型维持的活跃计算状态的数量。我们引入了“隐状态的格”(Lattice of Latents),这是一组逐层的水平隐状态流,它们沿时间循环运行,与贯穿深度的垂直残差流并行。与hyper-connections、mHC以及注意力残差或值残差类似,Lattice增强了残差流,但它不是在深度方向上增加或改道残差通路,而是提供了跨token持续存在的伴随计算状态。与混合Transformer–SSM架构不同——后者的循环状态主要作为序列混合的内部记忆——这些隐状态直接作用于垂直流的注意力、KV-cache写入、MLP计算和解码。在20B FineWeb-Edu token上训练的Transformer上,一个406M参数的Lattice模型将验证困惑度从参数匹配Transformer的15.41降低到14.40。这些增益在不同架构变体上均得以延续。Lattice可与先前的残差流增强手段组合:配合hyper-connections和输入残差,它将验证困惑度从15.41(基础Transformer)和14.22(带有相同增强的Transformer)降低到13.61。在Gated DeltaNet、Mamba-2、Triadic GDN和GDN–Mamba-2混合架构上,它在所有测试的原生状态大小下都改善了困惑度,其中Lattice-GDN和Lattice-Triadic-GDN变体优于原生状态大4倍的纯基线。这些结果将持久的逐层状态确定为扩展语言模型计算的一个互补维度。

垂直残差流贯穿深度;水平隐状态跨token持续存在。在训练和推理之间切换,并比较模型。

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →