返回资讯中心
外部精选
软件工程
#开发者实时流

Zyphra 提出分层稀疏注意力方法 ZHA,可用于超长上下文

来源标题:ZHA: Zyphra Hierarchical Attention

Zyphra 发布 Zyphra Hierarchical Attention(ZHA),一种基于树结构搜索上下文的稀疏注意力方法,目标是高效处理超长上下文。该方法还支持蒸馏进已有预训练模型,并在不同树几何结构下保持稳健,官方称有实现大幅加速的潜力。

Hacker News 最新infogulch2026/11/3 · 14 天前30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

我们的工作/ZHA:Zyphra 分层注意力ZHA:Zyphra 分层注意力为什么高效注意力如此困难?分层注意力:用树搜索上下文将 ZHA 蒸馏到预训练模型中树几何结构的鲁棒性与大幅提速的潜力通往真正超长上下文的窄路目录为什么高效注意力如此困难? 分层注意力:用树搜索上下文 将 ZHA 蒸馏到预训练模型中 树几何结构的鲁棒性与大幅提速的潜力 通往真正超长上下文的窄路 研究2026年11月2日加利福尼亚州旧金山 ZHA:Zyphra 分层注意力 作者:Leon Lufkin、Cutter Dawes、Alexander Speicher、Kamesh Krishnamurthy、Tomás Figliolia、Beren Millidge Zyphra — 分层注意力主视觉动画(v3) " title="" loading="lazy"> 为什么高效注意力如此困难? 分层注意力:用树搜索上下文 将 ZHA 蒸馏到预训练模型中 树几何结构的鲁棒性与大幅提速的潜力 通往真正超长上下文的窄路 我们提出 Zyphra 分层注意力(ZHA),这是一种稀疏注意力方法,它构建并搜索一棵分层树,以此确定每个查询相关的 token 集合。在合理选择用于路由的 top-p 阈值时,ZHA 可实现亚二次复杂度,优于那些仍需维护二次复杂度索引器的现有稀疏注意力方法。我们证明,仅使用几十亿 token 的蒸馏阶段,就能将现有预训练模型适配到 ZHA,并且 ZHA 在高稀疏度下仍能在具有挑战性的长上下文推理、智能体编程和检索基准上保持性能。我们的性能模型显示,在超长上下文中,ZHA 在速度和计算成本上大幅优于稀疏注意力方法。 Transformer 最引人注目的特性之一,是能够从序列中的任意位置检索信息。 当语言模型生成下一个 token 时,注意力机制让它能够回看此前出现的所有内容,并判断哪些信息片段是相关的。例如,编程模型可能需要从数千行之前检索某个函数定义,而推理模型可能需要重新审视一条长思维链中的某个中间结论。 关键在于,模型不必事先决定哪些信息会重要。每个新查询都可以独立检索它所需的上下文部分。 这种灵活性极为强大,但代价也很高。 在标准注意力中,每个 token 都要与之前的所有 token 进行比较。这导致二次复杂度。因此,上下文长度翻倍会使注意力总计算量增加约四倍。在生成过程中,每增加一个 token,还需要读取一个不断增大的键值(KV)缓存,其中保存着模型此前上下文的表示。 当我们向数千万 token 的上下文推进时,计算成本很快就会变得难以承受。 因此,大量研究都聚焦于让注意力更高效。然而,现有方法往往归入两大类,而每一类都有一个重要局限。 第一类方法是将过去压缩为固定大小的状态。 状态空间模型(SSM)、线性注意力变体以及滑动窗口注意力机制,通过维护对先前序列的有界表示,可以实现非常高效的扩展。问题在于,序列中潜在有用信息的数量并不会停止增长。 想象你在阅读越来越多的书,却只被允许保留固定数量的笔记。起初,你的笔记或许能记下大部分重要内容。但最终,新信息必然覆盖或干扰旧信息,无论这些旧信息以后可能多么有用。 稀疏注意力方法通过为每个查询选择 KV 缓存的一小部分,保留了检索任意信息的能力。模型不必关注此前每一个 token,而可能只关注最相关的 1%。 然而,这里有个问题:模型如何确定哪 1% 的 token 是相关的? 许多稀疏注意力方法使用一个轻量级索引器,对之前每个 token 打分,以找出值得检索的子集。尽管最终注意力操作是稀疏的,索引器本身仍然必须搜索整个上下文。这实际上把二次计算从注意力转移到了索引器。让索引器更便宜可以带来很大的常数因子改进,但底层的扩展性问题依然存在。 一些方法通过索引压缩块而非单个 token 来应对这一点。然而,以单一分辨率搜索每个块仍然需要随上下文线性增长的工作量,同样只能在渐近扩展上带来常数因子改进。 这些局限表明,一种有效的注意力替代方案需要同时具备两个特性。 第一,检索必须保持查询相关。不同问题需要不同信息,因此我们不能简单地丢弃一组固定的、被认为不重要的 token。 第二,主动检索的信息量必须允许随上下文长度增长,但增长速度要慢于上下文本身。固定大小的记忆最终会不够用,而线性增长的主动记忆又会把我们带回二次注意力。 我们的工作始于这样一个观察:自然语言似乎恰好具有这一特性。当我们检查预训练 LLM 中的注意力分布时,我们发现,占据固定比例注意力概率的 token 数量,往往随序列长度亚线性增长。在我们对长篇小说的实验中,这种关系通常可以用幂律很好地描述。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →