Zyphra发布ZHA稀疏注意力方法，可改造冻结大模型

Zyphra 发布了 Zyphra Hierarchical Attention（ZHA），这是一种围绕树状结构索引器构建的稀疏注意力方法。ZHA 瞄准的是稀疏注意力中一个已知缺口：负责挑选 token 的索引器仍然要扫描整个上下文。Zyphra 的技术论文显示，ZHA 可以用约 4B token 蒸馏进冻结的预训练模型。在 Qwen3.6-35B-A3B 上，它在推理、智能体编程和 256K 检索基准上都能贴近稠密注意力的表现。

TL;DR

• 规模：该方法为 Qwen3.6-35B-A3B 增加了 81,920 个可训练参数（约 0.00024%）。测试上下文长度最高 256K。
• 运行方式：在 32K 上下文下进行 4B token 的 KL 预热后，对冻结的预训练模型做改造。加速数据来自 H100 BF16 roofline 建模。未发布优化 kernel。还测试了一个 FP4 router 变体。
• 性能：在 7 个推理、编程和检索基准上与稠密注意力相差几个点以内。
• 最佳表现：LongBench v2 达到 63.4%（深树）对稠密 58.0%，仅使用约 1.1% 的 key。
• 最差表现：在基于 NoPE 的 Nemotron-3.5-Lightning-30B-A3B 上，深树 RULER-13 比稠密低 25.3 个点。

什么是 Zyphra Hierarchical Attention（ZHA）？

ZHA 是 Zyphra 提出的一种稀疏注意力方法，通过搜索一棵树来找到相关的 key。它保留完整的 KV cache。树只决定每个 query 读取哪些已缓存的 key。 SSM 和滑动窗口这类固定状态方法在长上下文下会饱和。DeepSeek Sparse Attention 这类细粒度稀疏方法会用索引器给每个历史 token 打分。最终注意力是稀疏的，但索引器仍然随完整上下文增长。 接近 1M token 时，已有工作表明索引占层时间的 60% 到 90%。ZHA 让搜索本身也变得稀疏。

ZHA 的树索引器如何工作？

构建树

ZHA 把 key 切成连续块，并将每个块压缩成一个摘要 key。摘要再被分组并逐层压缩。块大小为 4 时，6 层可让每个顶层节点覆盖 4,096 个 token。 摘要来自一小组学习得到的参考 query。每个参考 query 给出某个块的对数注意力质量的切平面估计。对这些平面取最大值，可近似任何未来 query 会给予该块的注意力。

top-p 路由如何选择 token？

解码时，query 给顶层节点打分。它保留覆盖估计注意力质量比例 p 的最小集合，然后只展开这些子节点，重复此过程直到到达原始 KV 条目。 Top-p 让预算自适应。单事实查找只触及少量分支。需要许多分散事实的 query 会展开更多。第一个 token 始终作为注意力汇保留。

ZHA 与稠密注意力和 MSA 相比表现如何？

Zyphra 团队用 2 棵树转换了 Qwen3.6-35B-A3B：深树（块 4，6 层）和宽树（块 256，1 层）。两者都使用 16 个参考 query 和 p = 0.95。他们还在 40B token 上训练了一个 MiniMax Sparse Attention（MSA）索引器，是 ZHA 预算的 10 倍。 基准（Qwen3.6-35B-A3B）DenseZHA deepZHA wideMSA AIME 202693.191.290.891.7 SWE-bench Verified67.467.468.463.6 Terminal-Bench 2.149.946.753.346.1 MMLU-Pro84.985.385.285.3 GPQA Diamond84.885.085.083.1 RULER-13 (256K)96.093.396.277.1 LongBench v2 (thinking)58.063.462.449.3 来源：arXiv 2610.42112，图 5。所有数字均由 Zyphra 自行报告。 最大差距在检索上。MSA 在 RULER-13 上降到 77.1%，而两棵 ZHA 树都保持在 93% 以上。在 LongBench v2 上，深树和 MSA 读取的 key 比例相近（1.1% 对 1%）。深树得分高 14.1 个点。 在 28 种树几何结构中，当关注 10% 到 30% 的 key 时，RULER 准确率保持稳定。在固定压缩率下，更深的树能在更高稀疏度下保持准确率。一个 4 参数模型可从几何结构预测 RULER 准确率，RMSE 为 1.44 个点。

ZHA 有多快？

Zyphra 没有发布 kernel。它用 roofline 对 batch size 为 1 时单层的解码延迟做了建模。轻量设置使用 1 个参考 query、块 8 和 p = 0.75。 在该模型中，ZHA 在接近 48K token 时超过稠密注意力，在接近 0.48M token 时超过 MSA。在 1B token 时，预计加速达到稠密的 373 到 417 倍，MSA 的 52 到 58 倍。博客文章还补充了 10M token 时的 32 到 35 倍和 4.7 到 5.1 倍。 在 256K 时，建模收益不大。Pareto 前沿设置在 RULER-13 92.7 到 96.4% 时，达到稠密的 1.93 倍到 2.28 倍。路由和选择本身也有成本。

ZHA 如何训练到现有模型上？

基础模型保持冻结。只有参考 query 参与训练。KL 损失在每一层匹配每个块的稠密注意力质量。Qwen 和 Nemotron 运行使用 3.98B token，1,900 步，32K 上下文。 Zyphra 报告，参数低于 1B 的模型在转换期间表现挣扎。4B 及以上结果明显改善。

ZHA 对比 MSA、DSA 和 NSA

特性ZHA（Zyphra）MSA（MiniMax）DSA（DeepSeek）NSA（DeepSeek） 索引器压缩 key 的多层树每个 GQA 组的扁平块索引器Lightning 索引器，token 级压缩 + 选择 + 滑动窗口 选择规则每层 top-p（自适应）128 token 块的 top-16Top-2,048 token64 token 的 16 个块，512 窗口 索引器成本每个 query 亚线性（声称）二次索引分支给每个缓存 key 打分未披露 加入预训练模型是，约 4B token，主干冻结是，400B token CPT继续训练 V3.1-Terminus原生预训练 展示的最大模型35B MoE（Qwen3.6-35B-A3B）109B MoE，6B 激活685B MoE27B MoE，约 3B 激活 报告加速仅建模（H100 roofline）1M 时 prefill 14.2 倍，decode 7.6 倍（H800）未披露64K 时加速，仅图示

关键要点

• ZHA 用树搜索 KV cache，而不是扁平扫描。
• 在冻结的 35B 模型上只训练 81,920 个参数。
• 宽树在 256K 的 RULER-13 上达到 96.2%，稠密为 96.0%。
• MSA 在同一 RULER 测试上降到 77.1%。
• 十亿 token 级加速是预测，不是实测。

（原文较长，此处译出前 6000 字，完整内容请点「打开原文」。）