研究团队推出StateBench基准，测试语言模型长文档状态追踪能力

我们推出 StateBench，这是一个用于长上下文状态跟踪的基准测试，衡量语言模型在长文档中跟踪实体信息演变的能力。

状态跟踪是许多任务的基础，从阅读代码（其中变量被赋值和重新赋值），到跟随故事情节中角色在物理空间中移动、物品在不同人之间转手。例如，如果一部悬疑小说在谋杀发生前写道“John 把刀给了 Mary”，那么了解每个角色的状态已经发生变化就很重要。然而，并非所有状态跟踪问题都同样困难：有些只需要找到最新的更新；更难的则需要跟随一条变化链，其中漏掉一步就可能导致最终答案出错。例如，我们悬疑状态跟踪的一个更难变体是：John 把背包里的物品给了 Mary，而此前已知 Edward 把一把刀放进了 John 的背包。

Transformer 在具有长依赖链的困难状态跟踪变体上存在有据可查的理论局限，这促使了循环和混合架构（如 Gated DeltaNet）的出现，这类架构会携带一个持续运行的记忆。现有的状态跟踪测试往往聚焦于最难的情况，但随着这些设计变得越来越常见，研究人员需要知道每种架构能处理哪些类型的状态跟踪。我们希望不仅了解各架构在最难的状态跟踪上的差异，也了解它们在更简单、可能更常见类型上的差异。

为此，我们开发了 StateBench 基准测试，用于捕捉不同复杂度的状态跟踪问题，并用它来评估不同架构的语言模型之间的差异。我们发现，直接在这些任务上训练时，循环和混合模型能比 transformer 泛化到长得多的范围；而包括 Gemini 3.8 Flash、Claude Opus 5.5 以及 GPT-6 Sol 和 Luna 在内的前沿模型，在输入变长时，在更难的状态跟踪形式上仍然会崩溃。

StateBench 包含四个难度级别，允许越来越复杂的状态更新操作。对于程序员来说，这些状态跟踪复杂度级别可以理解为允许不同类型的变量赋值操作：

这些级别可以从变量赋值的角度直观理解，但它们也代表了植根于 Krohn–Rhodes 理论的状态跟踪中具有理论动机的区分。Krohn–Rhodes 理论是代数的一个分支，描述状态跟踪问题——可以视为有限幺半群上的字问题——如何分解为原子原语。我们层级中的每个级别对应一类状态跟踪问题，这类问题可以由不同的原语集合构建而成。

为了公平比较这四个级别，我们从一个一般的有限变量赋值序列出发，从中派生出三个更简单的版本，从而产生四个可比较的 StateBench 问题——每个难度级别一个。所有四个问题使用相同数量的变量和不同的值，赋值出现在序列中的相同位置；只有赋值的类型发生变化。

我们在 StateBench 的 r-trivial、非周期和一般有限级别上测试了一系列开放预训练模型，观察它们的状态跟踪在哪里崩溃，以及不同架构是否在理论预测的地方失败。在标准理论假设下，transformer 可以稳健地处理 r-trivial（并在一定程度上处理可解和非周期问题），但被预测会在一般问题上失败。相比之下，具有更灵活记忆更新的 Gated DeltaNet 原则上可以处理所有四个级别。

我们从开放预训练模型开始，这些模型的训练数据和上下文长度都有完整记录。其中包括两个 70 亿参数的模型 Olmo 3（一个 transformer）和 Olmo Hybrid（增加了 Gated DeltaNet 层），以及 2.75 亿和 27 亿参数的较小模型。所有这些模型都在相同数据上预训练；训练期间没有一个模型见过超过 64,000 个 token 的上下文，而我们在远超该长度的输入上测试了其中大多数模型。

当我们对每个模型评分时，几乎所有模型在 r-trivial 问题上表现良好，在输入变长时在非周期问题上损失准确率，在一般有限问题上则停留在随机水平。问题格式在这里很重要——2.75 亿参数的混合模型和 Gated DeltaNet 模型在 RULER 风格的 r-trivial 问题上得分接近上限，但在同样问题以电子表格编辑形式呈现时却接近随机水平。这一差距正是 StateBench 以多种格式测试同一底层问题的原因之一。

前沿模型 然后我们测试了四个前沿模型——Gemini 3.8 Flash、Claude Opus 5.5 以及 GPT-6 Sol 和 Luna——要求它们阅读每个变量赋值序列并生成每个变量的最终值。

所有四个模型在 r-trivial 和非周期问题上表现良好。但在可解和一般有限问题上，随着输入变长，准确率急剧下降，在最长的 一般有限问题上降至 13% 或更低。一个可能的因素是敏感性；在这些更难的级别上，更多步骤会影响最终答案，留给模型漏掉一次更新而不出错的余地更小。

直接在任务上训练的模型 接下来，我们研究了模型在更难级别上的困难反映的是架构本身的局限，还是预训练根本没有教会模型解决这些问题。有针对性的直接训练是一种更有利的设置，可以揭示状态跟踪问题在多大程度上来自底层架构和优化器，而非用于预训练模型的数据。

我们从零开始在 StateBench 上训练了几个 2.75 亿参数的模型：两个 transformer 变体、两个混合模型，以及两个具有不同记忆更新约束的 Gated DeltaNet 变体。这些模型在最多 256 个赋值的序列上训练，并在长达 64,000 个赋值的序列上测试，即最大训练长度的 250 倍。

（原文较长，此处译出前 6000 字，完整内容请点「打开原文」。）