返回资讯中心
外部精选
软件工程
#开发者实时流

Anthropic称Claude编写公司80%合并代码

来源标题:Confronting the Limits of Recursive Self-Improvement

Anthropic今年5月声称,其大语言模型Claude已编写公司80%的合并代码。这一说法与AI领域“递归自我改进”(RSI)的讨论相关,即AI系统在无人类监督下生成代码的能力日益增强。该概念可追溯至1965年数学家I.J. Good提出的“超智能机器”与“智能爆炸”设想。

Hacker News 最新cdrnsf2026/11/17 · 今天22 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

Anthropic的标志出现在纳斯达克100指数K线图背景前的笔记本电脑屏幕上。该公司定于2026年11月19日星期四开始交易。(图片来源:Silas Stein/picture-alliance/dpa/AP Images) 分享 1965年,曾与Alan Turing共事的数学家Irving John Good提出了“超智能”机器的概念。“让我们将超智能机器定义为能够远远超越任何人类——无论多么聪明——所有智力活动的机器。既然机器设计正是这些智力活动之一,那么一台超智能机器就能设计出更好的机器;这样一来,无疑将出现一场‘智能爆炸’,而人类的智能将被远远甩在后面,”他写道。

如今,“智能爆炸”的前景与人工智能领域的另一个推测性概念联系在一起:递归自我改进(RSI)。这个术语与AI系统在无人类监督下生成代码的能力日益增强密切相关。

今年5月,Anthropic声称其大语言模型Claude撰写了该公司80%的合并代码。METR——一个与其所监测的行业关系密切的独立组织——最近发布了一份受Anthropic委托撰写的报告。该报告估计,Anthropic的基准分数在去年的提升速度,在往年需要两年才能实现,并声称(他们指出“存在相当大的不确定性”)80%的加速归因于AI在代码开发中的辅助。METR报告称,它得出这一估计所观察到的最有用证据被Anthropic涂黑删节,因为据称这些证据可能帮助其他公司开发类似技术。Anthropic定于11月18日启动首次公开募股,目标估值1.4万亿美元。

“智能爆炸”是AI热潮的承诺之一,而“热潮”正是这里的关键词:Eliezer Yudkowsky——他推广了RSI这一术语——认为一个“种子AI”系统将充当指数级能力火药桶的催化剂。正如这个说法所暗示的,一旦系统能够改进,它就能孕育出一个改进版的自身,如此循环。这种对递归的信念,加上METR的报告,使得有影响力的AI观察者预期RSI的时间线将加速。例如,Dwarkesh Patel上周预测,世界距离“在AI研究方面与最优秀人类相当AI”还有“几个月……”,而这反过来将导致到2030年或更早出现“在每个领域至少与最优秀人类专家相当”的AI。

现实很可能更为复杂。METR报告中的许多度量基于特定基准,这会将可评估的问题类型限制在可纳入测试的问题类型范围内。此外,METR并未报告所评估的测试类型。但这些评估的一个标志性特征是答案可自动验证:可以按照可自动化的逻辑判断其真伪、对错。

这类能力的提升是通过带可验证奖励的强化学习(RLVR)专门训练进模型的。这是一项沉睡的创新,解释了过去一年中若干能力提升,尤其是在编程和数学方面。RLVR解释了许多用户在2025年初所经历的能力转变,因为它已被良好地整合到多个系统中。RLVR是一种后训练形式,它优化模型去精确地生成那种能得出可验证答案的文本。

RLVR取一个基础模型,测量其生成的文本以获取可验证的答案,就像测试中的那些答案一样。当模型成功时,它生成的文本被视为一种可取的模式,并采取措施确保在下一阶段训练中生成更多此类文本。这会产生更长的文本,扩大正确答案的可能性,但也强调某些token和语言,可能导致模型从不同框架重写文本。

RLVR解释而非削弱了这些能力,而代码——RSI推进的核心议题——正是一项可验证的任务。但如果模型在这些类任务上展现出更强的能力,并不意味着模型在促进自身指数级改进所需的其他方面也在进步。

一个完全封闭、自我延续的递归系统,若不具备重定向能力,就会变成一个反馈回路,类似于声音从扬声器发出后通过麦克风进入同一系统,产生回声并碎裂成一片刺耳的声墙。你听到的那个声音可能不是AI增长撞上速度壁垒的音爆,而是系统选择任务方式的崩溃:它们趋同了。

AI智能体目前作为在同一训练上运行的多个实例来运作。要使递归放大发挥作用,你需要输入的多样性。这并非不可能的任务,但它与将一群随机性群体(或“智能体集群”)放出去执行一系列可自动评分的任务,是截然不同的设置。

那么,一个重要的追问是:在递归自我改进中,“自我”究竟是什么?最近一篇技术论文提出,“每一个改进回路都是一种主张,即某种信号可以替代人类判断。”自我改进与为特定自动化任务所安装的特定自动化替代品的质量绑定。我们如何划定系统的边界,有助于我们理解它能做什么。很好地自动化多样性,你就能创造出更好的系统。但必须有某种东西生成信号,也必须有某种东西改变那个信号。目前,模型无法在其自身架构的不同层面上生成同等质量的信号。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →