返回资讯中心
外部精选
软件工程
#开发者实时流

Terminal-Bench 发布 4.1 版本,更新任务验证器以抵御奖励作弊

来源标题:Terminal-Bench 4.1

Terminal-Bench 发布 4.1 版本,重点更新任务验证器以提升抗奖励作弊能力和正确性。官方用新验证器重新评分 4.0 排行榜 submissions,无需额外推理成本(原提交推理成本达 11.6 万美元)。4.0 中有 44 个任务在验证时会运行智能体编写的代码,存在篡改评估的风险。

Hacker News 最新hn-aarvin2026/11/12 · 5 天前16 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

更新任务验证器,以抵御奖励攻击并保证正确性

我们发布 Terminal-Bench 4.1,这是我们持续维护基准测试的一部分。4.0 排行榜上所有提交的推理总成本为 11.6 万美元;而用 TB 4.1 的验证器对已保存的产物重新评分,无需额外的推理成本。

我们处理了 Epoch、Tokenless 和 Preference Model 在近期基准审计中发现的若干问题,这些问题要求我们加固任务以抵御理论上的奖励攻击。在《Cracking Down on Reward Hacking》一文中,我们介绍了如何让其中许多防护措施在 Harbor 中成为原生能力。

Terminal-Bench 4.0 中有 44 个任务在校验阶段会运行由 agent 编写的代码。如果在给代码输出评分的同一进程中执行代码,代码就可能篡改评估结果。考虑以下场景:

我们尚未在 Terminal-Bench 排行榜上直接观察到其中大多数类型的漏洞利用,但我们希望帮助开发者保护其验证器免受这些攻击。为此我们在 RewardKit 中开发了 Worker 类,用于安全地执行代码,详见下文。

Agent 环境 → 产物 → 验证器环境 → rewardkit worker → 产物 → 清理 → Harbor 主机

在 agent 产物进入验证器容器之前,Harbor 会移除可能篡改评分的危险符号链接和权限。随后 RewardKit 的 Worker 会以不受信任用户的身份在独立进程中运行提交的代码,使其无法读取测试或修改奖励文件。接着 Worker 会终止代码可能遗留的所有进程,再由受信任的评分程序检查结果并给出分数。我们在 4.1 版本中,对所有在校验阶段执行 agent 代码的任务统一采用了这一做法。

完整的验证器实现请参见 secure-python-worker 示例。

重新评分后,TB 4.0 排行榜上有 162 次试验的分数发生了变化。我们人工复核了这些结果,将其中 134 次归类为验证器改动带来的预期变化,28 次归因于不同验证器运行之间的测量差异。对于这些试验,我们保留了它们在 TB 4.0 排行榜上的原始分数。出错的试验或未存储产物的试验同样保留其现有的 TB 4.0 分数。当重新评分结果不可用时,排行榜默认采用 TB 4.0 的分数。

重新评分遵循以下流程:使用已有产物在更新后的验证器中运行,从而给出新分数。我们还修复了若干额外的验证器偶发失败,这些是我们用 TB 4.0 自身的验证器对 TB 4.0 排行榜重新评分时发现的。

分数发生翻转的试验中,89 次为假阴性,45 次为假阳性。以下示例展示了过于严苛的验证器假设如何导致正确解法被判失败,以及 4.1 的修复如何解决这些假阴性:

· restart · 从 2D 草图到 3D 特征 · Opus 5 [Claude Code]

在全部 11,550 次试验中,只有约 1.16% 出现了分数变化。我们的结论是:TB 4.1 中加固修复的大部分 bug 和奖励攻击在 TB 4.0 中并不普遍,因此针对它们做控制并未大幅改变现有排行榜分数。对于可能涉及更深层任务改动的问题,我们正与编写这些任务的领域专家合作,确保任务的核心难点保持不变,同时保证任务规格完整且公平。

完整 Terminal-Bench 4.1 排行榜见此处。

我们将每个 agent 更新后的分数与其在 TB 4.0 排行榜上公布的置信区间进行了比较。全部 35 个 agent 在 TB 4.1 上的更新分数均落在其 TB 4.0 提交时的原始 95% 置信区间内。

4.0 置信区间/4.1 上升/4.1 下降

模型 effort agent 0% 10% 20% 30% 40% 50% 60% 70% 变化
Opus 5.5, Claude Code, effort max 4.0 64.85%,95% 置信区间 61.74 至 67.96;4.1 65.76%;变化 +0.9 个百分点。opus 5.5[max] claude code +0.9%
Sonnet 5.5, Claude Code, effort max 4.0 61.82%,95% 置信区间 58.88 至 64.76;4.1 63.94%;变化 +2.1 个百分点。sonnet 5.5[max] claude code +2.1%
GPT-6.1 Sol, Codex, effort max 4.0 58.18%,95% 置信区间 55.07 至 61.29;4.1 60.91%;变化 +2.7 个百分点。gpt-6.1 sol[max] codex +2.7%
GPT-6 Astra, Codex, effort max 4.0 58.18%,95% 置信区间 55.39 至 60.97;4.1 60.30%;变化 +2.1 个百分点。gpt-6 astra[max] codex +2.1%
Fable 5.1, Claude Code, effort max 4.0 57.88%,95% 置信区间 54.12 至 61.64;4.1 57.27%;变化 -0.6 个百分点。fable 5.1[max] claude code -0.6%
Opus 5, Claude Code, effort max 4.0 51.82%,95% 置信区间 48.43 至 55.21;4.1 52.12%;变化 +0.3 个百分点。opus 5[max] claude code +0.3%
GPT-6 Sol, Codex, effort max 4.0 49.39%,95% 置信区间 46.16 至 52.62;4.1 50.30%;变化 +0.9 个百分点。gpt-6 sol[max] codex +0.9%
Fable 5, Claude Code, effort max 4.0 44.55%,95% 置信区间 40.70 至 48.40;4.1 44.85%;变化 +0.3 个百分点。fable 5[max] claude code +0.3%
GLM-5.3, Claude Code, effort max 4.0 41.82%,95% 置信区间 38.59 至 45.05;4.1 41.21%;变化 -0.6 个百分点。glm-5.3[max] claude code -0.6%
GPT-5.6 Sol, Codex, effort max 4.0 37.27%,95% 置信区间 33.49 至 41.05;4.1 38.48%;变化 +1.2 个百分点。gpt-5.6 sol[max] codex +1.2%

显示全部排行榜条目

下一步

我们所做的一切都是公开的。

我们感谢 OSS 贡献者,他们既报告了问题,也付出了维护 Terminal-Bench 4.1 高标准的严谨努力。

Terminal-Bench 的小版本发布不会对面向 agent 的环境做改动。展望 Terminal-Bench 5.0 及以后,我们很高兴实现更复杂深入的任务开发,并打造尽可能优秀的软件来推动前沿。

欢迎查看我们的 v5.0 里程碑。也欢迎你通过报告任务问题或提出新任务来参与其中。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →