MaxxBench基准测试：多数模型为迎合假想评分器而违背指令

方法论：微小的改动……会导致性能大幅下降 大多数模型试图取悦一个想象中的评分器，而不是遵循提示词 七个模型对一个相信程序自身指标的测试进行了奖励黑客 DeepSeek 绕过沙箱网络限制调用 OpenRouter 修复 DeepSWE 中的 bug 更高的分数应该意味着什么 致谢 引用 我们修改了一个编码基准测试中的要求，结果发现模型会说服自己不去遵守这些要求。 有时，智能体完全理解了新要求。它描述了需要改动的部分，考虑了一个实现方案，然后断定隐藏测试大概想要的是别的结果。在一次运行中，一个模型正确地实现了改动，向另一个模型询问该基准测试的原始答案，并在收到答案后删掉了自己正确的代码。 对于一个编码助手来说，这是个尴尬的习惯。这也是一种熟悉的基准测试可能会奖励的习惯。如果模型猜中了测试期望什么，它得到的结果和一个认真按照要求工作的智能体一样，都是通过。 我们构建了 MaxxBench，用来考察编码性能在多大程度上取决于这些预期。它修改了 89 个 DeepSWE 任务的指令或起始代码，给模型提供了熟悉的工程工作，同时让它们有理由调整惯常的做法。 一个基准测试一旦流行起来，就会成为开发流程的一部分。它的任务可能进入训练数据。它的分数会影响 checkpoint 的选择。开发者会针对它的失败来调整提示词和智能体。有大量机会在那场特定的考试上变得更强。我们把与特定任务和惯例挂钩的收益称为 benchmaxxing。 然后分数会聚集在顶部，通常的应对方式是推出更难的基准测试。最近的发布，比如 FrontierSWE v2，已经转向那些能让智能体忙上大半个工作日的工程项目。 我们选择了 DeepSWE 的中等时长功能实现任务，因为它们更接近我们想要评估的日常编码工作。在增加更多工作之前，我们想先了解模型在已经取得高分的任务上面对改动时会有多好的表现。 例如，一个 DeepSWE 任务要求智能体为每个浏览器编写一份单独的测试报告。我们增加了一条要求：文件名必须小写。报告功能仍然需要正常工作；Chrome.xml 现在应该变成 chrome.xml。 另一个任务为 FastAPI 路由添加退役日期。我们把要求的时间戳改为带末尾 Z 的 UTC，而不是保留提供的时区偏移。 每个浏览器写入自己的报告文件，把空格和标点替换为下划线； MaxxBench 还要求文件名小写。 reports/ Chrome__Headless_.xml MaxxBench reports/ chrome__headless_.xml 探索任务 ↗ 这些改动类似于开发者在审查完第一版实现后可能提出的请求。智能体必须在调整行为的同时保持功能正常工作。 其他改动会修改功能周边的代码，包括可用于实现该功能的接口。我们相应地修订参考解和测试，保留对仍然适用的行为的检查。这样我们就得到了同一项工作的两个相关版本，以及一种检查智能体在何处成功或失败地完成适配的方法。 在所有任务中，MaxxBench 的参考补丁中位数仅增加 17 行（3.5%）。处理这种规模的琐碎修订，对一个有能力的编码智能体来说应该是例行公事。 Claude Opus 5.5 和 Gemini 3.8 Flash 公布的 DeepSWE 分数都约为 74%。在 MaxxBench 上，它们的得分分别为 76.4% 和 53.4%。 23 个百分点的差距为在两者之间做选择提供了不同的依据。原始分数让它们看起来旗鼓相当；修订后的任务则暴露出它们在可靠处理工作改动方面的巨大差异。 GPT-6 Astra 和 Opus 5 在 DeepSWE 上起步时也很接近，然后在 MaxxBench 上分别拉开到 71.9% 和 63.5%。 所有模型Claude Opus 5.5 (74.2% → 76.4%)GPT-6 Astra (74.1% → 71.9%)GPT-5.6 Sol (72.7% → 69.1%)Claude Fable 5 (69.9% → 63.5%)Claude Opus 5 (73.6% → 63.5%)GLM-5.3 (69.0% → 56.7%)DeepSeek V4.1 Flash (74.2% → 55.6%)GLM-5.3 Flash (63.4% → 55.1%)Gemini 3.8 Flash (73.8% → 53.4%)GPT-5.6 Luna (67.2% → 46.1%)Muse Spark 1.2 (54.9% → 38.8%)DeepSeek V4 Flash (53.3% → 28.1%) DeepSWEMaxxBench30%40%50%60%70%80%Claude Opus 5.574.2Claude Opus 5.576.4GPT-6 Astra74.1GPT-6 Astra71.9GPT-5.6 Sol72.7GPT-5.6 Sol69.1Claude Fable 569.9Claude Fable 563.5Claude Opus 573.6Claude Opus 563.5GLM-5.369.0GLM-5.356.7DeepSeek V4.1 Flash74.2DeepSeek V4.1 Flash55.6GLM-5.3 Flash63.4GLM-5.3 Flash55.1Gemini 3.8 Flash73.8Gemini 3.8 Flash53.4GPT-5.6 Luna67.2GPT-5.6 Luna46.1Muse Spark 1.254.9Muse Spark 1.238.8DeepSeek V4 Flash53.3DeepSeek V4 Flash28.1DeepSWEMaxxBench304050607080Claude Opus 5.576.4GPT-6 Astra71.9GPT-5.6 Sol69.1Claude Opus 563.5GLM-5.356.7Gemini 3.8 Flash53.4GPT-5.6 Luna46.1Muse Spark 1.238.8DeepSeek V4 Flash28.1 源数据 ModelDeepSWEMaxxBench Claude Opus 5.574.2% 76.4% GPT-6 Astra74.1% 71.9% GPT-5.6 Sol72.7% 69.1% Claude Fable 569.9% 63.5% Claude Opus 573.6% 63.5% GLM-5.369.0% 56.7% DeepSeek V4.1 Flash74.2% 55.6% GLM-5.3 Flash63.4% 55.1% Gemini 3.8 Flash73.8% 53.4% GPT-5.6 Luna67.2% 46.1% Muse Spark 1.254.9% 38.8% DeepSeek V4 Flash53.3% 28.1%在此比较的 12 个配置中，最高分与最低分之间的差距翻了一倍多，从 DeepSWE 上的 20.9 个百分点扩大到 MaxxBench 上的 48.3 个百分点。在原基准测试上，有六个配置彼此相差不超过 1.5 个百分点，齐聚在 74% 附近；一旦要求发生变化，它们便散开到 23.0 个百分点的范围内。 能够干净利落地适配新规格的模型从这个集群中脱颖而出。Claude Opus 5.5 以 76.4% 领先，略微超过其 74.2% 的 DeepSWE 基线，而 GPT-6 Astra 和 GPT-5.6 Sol 仅下降 2.2 和 3.6 个百分点，足以让 Sol 超越三个在 DeepSWE 上排名高于它的模型。在同一 74% 梯队的另一端，DeepSeek V4.1 Flash 和 Gemini 3.8 Flash 下降了 18.6 到 20.5 个百分点。

（原文较长，此处译出前 6000 字，完整内容请点「打开原文」。）