返回资讯中心
外部精选
软件工程
#开发者实时流

研究者提出Lattice of Latents架构,为语言模型增加并行隐状态流

来源标题:Latent Lattice Language Models

研究者提出「Lattice of Latents」架构,在垂直残差流之外为每层增加沿时间递归的横向隐状态流,直接参与注意力、KV-cache写入、MLP计算与解码。在20B FineWeb-Edu token上训练的406M参数模型将验证困惑度从15.41降至14.40,且增益在多种架构变体中均成立。

Hacker News 最新E-Reverance2026/11/17 · 今天5 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

语言模型通常通过更深的层、循环层和隐式推理步骤来增加每个 token 的计算量,而更丰富的残差连接则改善跨层的信息流动。我们转而提升计算容量:模型所维护的活跃计算状态的数量。我们引入 Latent Lattice(潜格),它是一组逐层的水平潜变量流,沿时间循环运行,与贯穿深度的垂直残差流并行。与 hyper-connections、mHC 以及 attention 或 value 残差类似,Lattice 增强了残差流,但它并不沿深度方向新增或改道残差通路,而是提供在 token 之间持续存在的伴随计算状态。与混合 Transformer–SSM 架构不同——后者的循环状态主要充当序列混合的内部记忆——这些潜变量直接调节垂直流的注意力、KV-cache 写入、MLP 计算和解码。在 20B FineWeb-Edu token 上训练的 Transformer 上,一个 406M 参数的 Lattice 模型将验证困惑度从参数匹配 Transformer 的 15.41 降至 14.40。这一增益可扩展到多种架构变体。Lattice 可与先前的残差流增强手段组合:配合 hyper-connections 和 input residuals,它将验证困惑度从 15.41(基础 Transformer)和 14.22(带有相同增强的 Transformer)降至 13.61。在 Gated DeltaNet、Mamba-2、Triadic GDN 以及 GDN–Mamba-2 混合架构上,它在所有测试的原生状态规模下都改善了困惑度,其中 Lattice-GDN 与 Lattice-Triadic-GDN 变体优于原生状态大 4 倍的纯基线。这些结果表明,持续的逐层状态是扩展语言模型计算的一个互补维度。

垂直残差流贯穿深度;水平潜变量在 token 之间持续存在。在训练与推理之间切换,并比较模型。

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →