返回资讯中心
外部精选
软件工程
#开发者实时流

研究质疑可验证指标是否高估AI递归自我改进能力

来源标题:Do verifiable metrics overestimate RSI?

一项分析指出,模型对可验证指标的过拟合可能只是「摘低垂果实」,早期加速后终将饱和。作者认为AI的相对优势若更多来自迭代和局部改进而非概念性判断,ML研究改进可能减速。分析聚焦AECI与通用ML研究能力之间的差距,以区分能驱动正反馈的改进与最终会趋于平缓的改进。

Hacker News 最新eatitraw2026/11/11 · 6 天前7 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

对AECI的过拟合可能是一个更普遍模式的一个实例:模型摘取低垂的果实,带来快速的加速,但最终收益递减。它们参差不齐的智能可能赋予它们相对于人类的比较优势,从而驱动一波早期洞察的爆发,但随着人类与AI洞察的共享前沿变得更加饱和,这种优势可能会枯竭。如果AI的比较优势更多地依赖于迭代和局部改进,而非概念品味和系统性改进,这种情况似乎尤其可能发生。

这种早期加速的动态,是METR归因于AI的AECI改进速率跃升的一种可能解释。如果是这种情况,那么AI带来的ML研究改进可能会饱和,导致后期减速。

在我的分析中,我聚焦于AECI与一般ML研究技能之间的差距,以便将那些会驱动强正反馈循环的自动化ML改进,与那些最终会趋于平缓的改进区分开来。然而,也有人可能会担心可验证任务上的正反馈循环无法转化为模糊任务上的正反馈循环。我对这种担忧的信任度要低得多,因为我认为我们很可能会看到可验证任务与模糊任务之间至少存在一定的迁移。这是因为一些可验证任务对智能的一般性提升至关重要。样本效率就是一个例子。它可以通过算法在基准上达到给定分数所需的样本数量来衡量。样本效率对智能至关重要,因为它涉及泛化:更高的样本效率意味着更好的分布外表现。而更好的分布外表现,反过来意味着在模糊任务上表现更好——模糊任务依赖于泛化,因为直接相关的指标对它们来说很稀缺。

此外,可验证任务与模糊任务之间的迁移不需要很高。只要你认为哪怕一小部分可验证能力能迁移到模糊任务,可验证任务上的FOOM就会迅速迁移到模糊任务上。

因此,我认为没有令人信服的理由因为AI难以将可验证技能迁移到模糊任务而认为时间线会很长。为了让时间线延长,AI在可验证任务上的加速必须饱和。

我在这里提出的过拟合考量,只是决定AI能力加速能持续多久的众多考量之一。例如,可能存在某种程度的过拟合,同时也存在某种底层的超指数趋势。我的全盘考虑观点是:未来两年内我们看到AI进展减速的概率是60%,但在2027年底前看到ASI的概率也相当大,约为30%。

感谢Jadyn Malone、Nabil Baugher、Lukas Finveddan和Alex Mallen的有益反馈与讨论。

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →