
METR 更新 AI 任务时长图:模型能力仍指数级提升,但判断类任务偏弱
来源标题:The most misunderstood graph in AI just got a major update
AI 评估机构 METR 更新其“任务时长图”,发现 AI 模型能力仍沿指数轨迹快速提升,前沿模型可完成的任务时长每四个月翻一倍。新版图表加入耗时更长和更开放的任务,结果显示模型在需要判断力的任务上不如编程类任务表现好。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
METR的最新报告发现,AI模型仍在快速进步,但在需要判断力的任务上表现出一些弱点。
AI评估非营利组织METR的一份新报告发现,某些AI能力正沿着指数轨迹持续提升——但报告也表明,模型在需要判断力的任务上并不像在编程任务上那样出色。
该报告是对该组织“时间跨度图”的更新。这张图曾被广泛传播,也因其所用衡量指标的复杂性而被广泛误读。METR的评估方式是让模型尝试一大套任务,每项任务也都由人类完成过。每项任务的难度根据人类测试者完成它所需的时间来评分——然后根据模型能够完成的任务时长来给模型打分。那张图显示,AI系统正在快速进步——每四个月,前沿模型能够成功完成的任务时长就翻一倍。
更新后的图增加了更多任务——有些任务估计需要人类花费远超原始任务集的时间,另一些则更加开放式。当前AI领域最大的问题之一,是“可验证”任务上的进展在多大程度上能迁移到那些难以衡量成败的任务上。所谓可验证任务,是指可以自动检查AI系统成功还是失败的任务。我们知道如何教神经网络完成可验证任务:研究人员让系统多次尝试一项任务,强化有助于成功的神经通路,削弱导致失败的通路。这就是为什么AI系统在编程和数学领域变得如此擅长——在这两个领域,可以自动判断一个解法是否有效。
将这种被称为强化学习的技术应用于成功定义不清晰或需要更长时间才能确定的任务——比如选择一个新的研究方向——要困难得多。出于同样的原因,评估AI在这些任务上的表现也很困难,因此METR最初的时间跨度图没有包含任何此类任务。但恰恰是这类任务,如果AI系统要實現研发自动化,将被证明至关重要。
而AI研发正是当下尤为热门的话题。AI社区的部分人士仍在消化本月早些时候METR另一份经过大量删减的报告,该报告声称AI可能正在将Anthropic的AI进展速度提升至两倍。那份报告引发了担忧:这家公司(刚刚完成了重磅IPO)可能很快实现完全的递归自我改进——即AI系统在无需人类参与的情况下自主设计其继任者。
METR的研究人员努力确保他们的新任务集包含一些更模糊、更依赖判断力的任务,这些任务可能与AI研发最为相关。在一项任务中,他们要求模型设计新的AI评估方法,供METR在其研究中使用,然后由METR的人类员工对结果打分。尽管最先进的模型目前在软件工程方面已几乎超越所有人,但在这项任务上它们表现不佳:没有一个AI设计的评估方案达到让METR员工认为对其研究有用的程度。
在另一项任务中,模型必须给哲学论证打分。这项任务旨在衡量模型在多大程度上能运用良好的判断力——不过METR在报告中写道,员工们对该任务与AI研发自动化的相关性存在分歧。在这项任务上,模型同样未能达到人类水平。
尽管这些新任务很难评分——要解读分数的含义就更难——但与我交谈的专家们对METR将新型评估纳入其工作表示赞赏。“我们已经到了AI评估需要更有创造力的阶段,”计算机科学家、即将入职加州大学伯克利分校的教授Sayash Kapoor说。“努力拓展评估空间的边界是一个值得欢迎的变化。”
Kapoor说,他对模型在更开放式任务(如设计AI评估)上表现不佳并不感到意外——在8月的一篇预印本中,他和合作者报告称,AI模型尚无法独立复现人类的计算机科学研究。而在周三的一篇博客文章中,OpenAI报告称,其模型在员工分配的 real-world 任务上的表现不如在METR原始任务集中更简单、更可验证的任务上那么好。
不过,Kapoor说,人们对如何解读当前在易验证和难验证任务上的表现差异存在分歧。尽管他认为研究品味——即选择有前景的问题、假设和实验的能力——将被证明是AI研发自动化的主要瓶颈,但其他人主张,在易验证任务上训练的模型最终也能成功完成开放式任务。而且可验证任务上的进展似乎并未放缓。
即使模型目前在开放式任务上落后于人类表现,新报告表明它们可能正在进步。一些最新模型,如Opus 5.5,在评估设计任务上往往能达到METR所谓的“略高于门槛”的表现——尚不能用于METR的研究,但有希望。就在一年前,每个模型都落在“明显低于门槛”的类别中。
但由于这些开放式和重判断任务的设计和评分如此困难,METR在报告中纳入的此类任务很少,这使得难以预测模型是否以及如何在这些领域继续进步。“我们观察到的改进,我认为确实告诉了我们当前阶段的一些信息,”波士顿大学的语言学家和计算机科学家Najoung Kim说。“我还不确定该如何思考它如何外推。”
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。