
2026年评估论文盘点:智能体评测成研究重点
来源标题:Top Eval Papers of 2026
2026年AI评估研究重心转向智能体工作流,因这类任务需同时检验结果正确性与过程安全性。文章指出弱评估会在无预警下误导决策,例如基准过易导致强弱模型同分,或评分器放行本应拒绝的答案。2026年7月一个基于OpenAI模型的智能体在网络安全评估中被发现作弊获取测试数据。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
elvis 2026年11月16日 5 1 分享
每周都有新的模型或智能体声称在某个公开基准测试上取得了更高的分数。AI工程师和研究人员用这些数字来选择模型、发布功能、决定下一步做什么。当一个数字背后的评估本身很薄弱时,基于这个数字做出的决策就可能是错的。
这个问题现在比一年前更重要。聊天机器人的回答,读一遍就能检查。而智能体可以在真实软件中工作数小时,调用几十个工具,并在此过程中修改文件。给这样的工作打分要难得多。你既要检查最终结果是否正确,也要检查它一路走来的每一步是否安全、合理。我在2026年追踪到的评估研究中,很大一部分都聚焦于如何给这类工作流打分。
薄弱的评估会在毫无预警的情况下误导你。有时基准测试对当今的模型来说太简单了,好模型和顶尖模型拿到同样的分数。有时评分器会放过本应被拒绝的答案。即便最终结果看起来是对的,智能体也可能是靠作弊达成的,比如找到了测试数据。2026年7月,一个基于OpenAI模型构建的智能体在运行基于ExploitGym基准测试的网络安全评估时,逃出了沙箱,侵入了Hugging Face的系统。Hugging Face认为该智能体是试图窃取该基准测试的题目答案。
近期的审计显示,这类问题在公开基准测试中相当普遍。9月,Epoch AI开始发布Benchmark Reviews。截至10月下旬,它审查的24个基准测试中有12个被评为“有缺陷”,意味着错误影响了至少20%的分数。OpenAI审计了SWE-bench Verified,发现在o3无法可靠解决的138个任务中,59.4%存在严重问题。公开排行榜作为初步参考仍然有用。但对于真正重要的决策,你需要基于自己的任务和数据构建的私有评估。下面有几篇论文展示了如何构建这样的评估。
我读了很多评估方向的论文。以下是我今年最喜欢的10篇。每一篇都指出了评估中的某个具体问题,并展示了如何在你自己的环境中减轻它。还有很多好论文没能入选。
你可以在我们的Top AI Papers of the Week存档中找到更多。
当AI基准测试停滞不前:基准饱和的系统性研究,Mubashara Akhtar等,2026年。
来自《当AI基准测试停滞不前》的60个基准测试饱和分数(图1)
许多流行的基准测试已经变得太简单了。当几乎所有模型都拿到接近满分的成绩时,基准测试就无法再显示哪个模型更好。研究人员称之为饱和。
作者们在60个基准测试上测量了这一点。近一半已经饱和。较老的基准测试更容易饱和。保持有用时间最长的基准测试是由专家精心策划的。测试集是否公开影响不大。
在你信任一个基准测试之前,先确认你关心的模型在它上面仍然能拿到明显不同的分数。优先选择由专家策划的基准测试。
Terminal-Bench:在命令行界面中对智能体进行困难真实任务基准测试,Mike A. Merrill等,2026年。
来自Terminal-Bench的Terminal-Bench任务剖析(图2)
好的任务需要既真实又易于检查。Terminal-Bench展示了如何构建同时满足这两点的任务。
它的89个任务每个都在自己的容器中运行。每个任务都包含一条指令、一份人工编写的解决方案,以及检查最终状态的测试。这些任务基于真实的命令行工作。发布时,每个前沿模型和智能体得分都低于65%。
用同样的方式构建你自己的任务。给每个任务一个干净的环境、一个已知的解决方案,以及一个检查结果的测试。
SkillsBench:基准测试智能体技能在多样任务中的表现,Xiangyi Li等,2026年。
来自SkillsBench的SkillsBench构建、过滤与配对评估流程(图2)
这篇论文讲的是如何衡量你对智能体的某项改动是否真的有用。假设你添加了一个新工具、提示词或技能,分数上升了。没有基线,你就无法判断是这项改动带来了提升,还是两次运行之间别的东西发生了变化。解决办法是配对比较。你把同样的任务跑两遍,一遍带改动,一遍不带,然后比较两个分数。
SkillsBench对智能体Skills做了这件事,Skills是智能体在工作时加载的打包指令。它在18种模型和harness组合下,分别在有Skills和无Skills的情况下运行了87个任务。Skills将平均通过率从33.9%提升到50.5%。由三个或更少部分组成的短Skills比长Skills效果更好。
提升幅度因配置而异,差别很大,从大约4分到26分不等。在假定某项改动有用之前,先用同样的方式测试你自己的模型和harness。
JEV-as-a-Judge:有把握时接受,不确定时上报,Yubo Li等,2026年。
从人类评判到LLM评判再到仅做决策的JEV评判,来自JEV-as-a-Judge(图1)
一旦你设计出了一组好任务,下一个问题就是评分器。用前沿模型来评判每一个输出,成本很快就会变得很高。
JEV是TypeSafe推出的一个小型决策模型。作为评判者,它返回的是一个带概率的裁决,而不是书面解释。当答案可以通过阅读文本检查时,它的得分与GPT-6相差在三分以内,而成本只是后者的一小部分。在数学、代码和逻辑这类需要评判者自己算出答案的领域,它就落后了。
作者们利用JEV的置信度来决定何时把案例交给更强的评判者。有把握的裁决直接接受。不确定的则交给GPT-6。这种组合比单用GPT-6略更准确,成本却只有41%。对于写得看起来很有说服力的答案,这种路由效果较差,所以要在你自己的数据上设定置信度阈值。
九个评判者,两张有效选票:相关误差削弱LLM评估小组,Guneet Kohli,2026年。
来自《九个评判者,两张有效选票》的九个LLM评判者之间的两两误差相关性(图3)
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。