返回资讯中心
外部精选
行业深度
#趋势观察#Artificial intelligence#App#Summary

METR更新AI能力评估报告:可验证任务每四个月翻倍,判断力仍是短板

来源标题:The most misunderstood graph in AI just got a major update

AI评估非营利组织METR更新报告称,前沿AI模型在可测量任务上的表现每四个月翻倍,但在评估设计、哲学论证等需要判断力的任务上仍不及人类。少数新模型在评估设计任务上已从一年前的“明显不达标”升至“勉强过线”,但研究者警告改进过于稀疏,尚难判断趋势走向。

MIT Technology ReviewGrace Huckins2026/11/20 · 今天21 分钟阅读

以下正文由 AI 翻译自 MIT Technology Review(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

  • AI 在可验证任务上的进步不断加快——METR 更新的报告证实,前沿 AI 模型在可量化任务上的表现每四个月翻一番。
  • 判断力仍是模型的短板——当被要求设计新的 AI 评估方案或给哲学论证打分时,即便最先进的模型也达不到人类水平。
  • 有了一些进步的苗头,但还看不出清晰的趋势线——少数较新的模型在评估设计任务上已达到“勉强过线”,而一年前还是“明显不达标”——不过研究人员警告说,这些改进太过零散,无法据此预测未来走向。

AI 评估非营利组织 METR 的一份新报告发现,部分 AI 能力仍在沿指数轨迹持续提升——但报告同时表明,模型在需要判断力的任务上并不像在编程任务上那样出色。

这份报告是对该组织“时间跨度图”的更新。这张图曾被广泛传播,也因其所用度量指标过于复杂而被广泛误读。METR 的评估方式是让模型尝试一大套任务,每项任务也都由人类完成过。每项任务的难度按人类测试者完成它所花的时间来打分——然后根据模型能够完成的任务时长来给模型评级。那张图显示,AI 系统正在快速进步——每四个月,前沿模型能够成功完成的任务时长就翻一倍。

更新后的图加入了更多任务——有些任务估计人类完成所需的时间远超原任务套件中的任务,另一些则更加开放式。当前 AI 领域最大的问题之一,是“可验证”任务上的进步——即能够自动检验 AI 系统成功还是失败的任务——在多大程度上能迁移到成败更难衡量的任务上。我们知道如何教神经网络完成可验证任务:研究人员让系统反复尝试任务,强化有助于成功的神经通路,削弱导致失败的通路。这就是 AI 系统在编程和数学两个领域变得如此出色的原因——在这两个领域,可以自动判定一个解法是否有效。

把这种被称为强化学习的技术应用到成功定义不明确、或需要更长时间才能确认的任务上——比如选择新的研究方向——要困难得多。出于同样的原因,评估 AI 在这些任务上的表现也很困难,因此 METR 最初的时间跨度图没有纳入任何此类任务。但恰恰是这类任务,对于 AI 系统实现研发自动化至关重要。

而 AI 研发眼下正是热门话题。AI 社区的一部分人至今仍对本月早些时候(数周前)另一份经过大量删改的 METR 报告感到震惊,该报告声称,AI 可能正在让 Anthropic 的 AI 能力进步速度加快一倍。那份报告引发了担忧:这家公司(刚刚完成了一次轰动的 IPO)可能很快就会实现完全的递归自我改进——即 AI 系统在无人参与的情况下自主设计自己的后继者。

METR 研究人员努力将一些更模糊、更依赖判断力、且可能与 AI 研发最为相关的任务纳入新的任务套件。其中一项任务要求模型设计 METR 可用于其研究的新 AI 评估方案,然后由 METR 的人类员工给结果打分。尽管最先进的模型如今在软件工程上几乎强过所有人,但在这项任务上它们却不达标:没有一个 AI 设计的评估方案好到让 METR 员工认为对自己的研究有用。

另一项任务要求模型给哲学论证打分。这项任务旨在衡量模型能发挥多好的判断力——不过 METR 在报告中写道,员工们对于该任务与 AI 研发自动化的相关程度存在分歧。在这项任务上,模型同样未达到人类水平。

尽管这些新任务很难打分——要弄清这些分数意味着什么就更难——但与我交谈的专家们都认可 METR 将新型评估纳入其工作的做法。“我们到了 AI 评估需要更有创造力的时候,”计算机科学家、即将入职 UC Berkeley 的教授 Sayash Kapoor 说。“努力拓展评估空间的边界是值得欢迎的变化。”

Kapoor 说,他并不意外地看到模型在更开放式的任务(比如设计 AI 评估方案)上表现不达标——在 8 月的一篇预印本中,他和合作者报告称,AI 模型尚不能独立复现人类的计算机科学研究。而在周三的一篇博客文章中,OpenAI 报告称,其模型在员工要求它们完成的真实世界任务上,表现不如在 METR 原始任务套件中那些更简单、更可验证的任务上那么好。

不过 Kapoor 说,对于如何解读当前在易于验证和难以验证任务上的表现差异,人们意见不一。尽管他认为“研究品味”——即选择有前途的研究问题、假设和实验的能力——将成为 AI 研发自动化的主要瓶颈,但其他人主张,在易于验证任务上训练出来的模型最终也能成功完成开放式任务。而且,可验证任务上的进步似乎并未放缓。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →