Ai2 发布 StateBench，测试语言模型如何追踪长文档中的状态变化

返回文章

StateBench：测试语言模型如何在长文档中追踪状态变更

企业文章 已发布 2026年11月3日 点赞 - Kyle Wiggers Ai2Comms 关注 allenai :last-child]:mb-0"> 状态追踪的四个层级 我们的发现 预训练模型 前沿模型 直接针对任务训练的模型 开放问题与发布 📄 技术报告 | 🤗 数据 | 💻 代码

我们推出 StateBench，这是一个用于长上下文状态追踪的基准测试——衡量语言模型在长文档中追踪实体信息随其演变的能力。

状态追踪是许多任务的基础，从阅读代码（其中变量被赋值和重新赋值），到跟随故事情节中角色在物理空间中的移动和物品的转手。例如，如果一本悬疑小说在谋杀发生前写道“约翰把刀给了玛丽”，那么了解每个角色的状态已经发生变化就很重要。然而，并非所有状态追踪问题都是同等难度的：有些只需要找到最新的更新；更难的则需要跟随一连串的变化，其中遗漏任何一步都可能导致最终答案出错。例如，我们悬疑状态追踪的一个更难变体是：约翰把背包里的物品给了玛丽，而此前已知爱德华把一把刀放进了约翰的背包。

Transformer 在具有长依赖链的困难状态追踪变体上存在有据可查的理论局限，这推动了循环架构和混合架构（如 Gated DeltaNet）的发展，这些架构会携带一个持续向前传递的记忆。现有的状态追踪测试往往聚焦于最困难的情况，但随着这些设计变得越来越普遍，研究人员需要了解每种架构能够处理哪些类型的状态追踪。我们希望不仅理解各架构在最困难的状态追踪类型上的差异，也理解它们在更简单、可能更常见的类型上的差异。

为此，我们开发了 StateBench 基准测试，以涵盖不同复杂度的状态追踪问题，并用它来评估不同架构的语言模型之间的差异。我们发现，当直接在这些任务上训练时，循环模型和混合模型的泛化能力远超 transformer；而包括 Gemini 3.8 Flash、Claude Opus 5.5 以及 GPT-6 Sol 和 Luna 在内的前沿模型，随着输入变长，在更难的状态追踪形式上仍然会失效。

状态追踪的四个层级

StateBench 由四个难度层级组成，允许越来越复杂的状态更新操作。对于程序员来说，这些状态追踪复杂度层级可以理解为允许不同类型的变量赋值操作：

这些层级可以直观地通过变量赋值来理解，但它们也代表了植根于 Krohn–Rhodes 理论的状态追踪中有理论依据的区分。Krohn–Rhodes 理论是代数的一个分支，描述状态追踪问题——可视为有限幺半群上的字问题——如何被分解为原子原语。我们层级中的每一级对应一类状态追踪问题，这些问题可以由不同的原语集合构建而成。

为了公平地比较这四个层级，我们从一个一般的有限变量赋值序列开始，从中推导出三个更简单的版本，从而产生四个可比较的 StateBench 问题——每个难度层级各一个。所有四个问题使用相同数量的变量和不同的值，赋值出现在序列中的相同位置；只有赋值的类型发生变化。

我们的发现

预训练模型

我们在 StateBench 的 r-trivial、非周期和一般有限层级上测试了一系列开放预训练模型，以观察它们的状态追踪在何处失效，以及不同架构是否在理论预测的地方失败。在标准理论假设下，transformer 可以稳健地处理 r-trivial（以及在一定程度上处理可解和非周期问题），但被预测会在一般问题上失败。相比之下，具有更灵活记忆更新的 Gated DeltaNet 原则上可以处理所有四个层级。

我们从开放预训练模型开始，这些模型的训练数据和上下文长度都有完整记录。其中包括两个 70 亿参数的模型——Olmo 3（一个 transformer）和 Olmo Hybrid（增加了 Gated DeltaNet 层）——以及 2.75 亿和 27 亿参数的更小模型。所有这些模型都在相同的数据上预训练；训练期间没有一个见过超过 64,000 个 token 的上下文，而我们在远超该长度的输入上测试了其中大多数模型。

当我们对每个模型评分时，几乎所有模型在 r-trivial 问题上表现良好，随着输入增长在非周期问题上损失准确率，在一般有限问题上则停留在随机水平。问题格式在这里很重要——2.75 亿参数的混合模型和 Gated DeltaNet 模型在 RULER 风格的 r-trivial 问题上得分接近上限，但在同样问题以电子表格编辑形式呈现时却接近随机水平。这一差距正是 StateBench 以多种格式测试同一底层问题的原因之一。

前沿模型

然后我们测试了四个前沿模型——Gemini 3.8 Flash、Claude Opus 5.5 以及 GPT-6 Sol 和 Luna——要求它们阅读每个变量赋值序列并生成每个变量的最终值。

所有四个模型在 r-trivial 和非周期问题上表现良好。但在可解和一般有限问题上，随着输入变长，准确率急剧下降，在最长的一般有限问题上降至 13% 或更低。一个可能的因素是敏感性；在这些更难的层级上，更多步骤可能影响最终答案，留给模型遗漏一次更新而不出错的余地更小。

直接针对任务训练的模型

（原文较长，此处译出前 6000 字，完整内容请点「打开原文」。）