Anthropic CEO 称 AI 已开始自我改进，呼吁政府放缓开发

2026年9月，Anthropic CEO Dario Amodei——业内最具影响力的人物之一——呼吁各国政府放缓AI发展，理由是AI已经开始自我改进。我把他引用的每一个来源都查了一遍。递归式自我改进究竟指什么，证据显示了什么，数千个AI agent攻破Hugging Face时到底发生了什么，以及为什么放缓发展除了安全考量之外也符合实验室自身的利益。

免责声明：本文不构成投资建议。这是一篇关于技术的文章，也关于如何解读证据及其背后的激励因素。阅读本文不需要AI、软件或金融背景；技术术语在首次出现处均有解释。文中数字与引语均取自各实验室、Epoch AI、METR、Redwood Research、ARC Prize以及媒体截至2026年9月下旬公开发布的内容。所有来源链接均在正文中给出，并在文末汇总。

2026年9月上半月，开发全球最先进AI系统的几家公司的领导人做了一件不寻常的事：他们公开请求被放缓。

事情始于一篇短文。Claude模型的开发者、Anthropic首席执行官Dario Amodei发表了《We Must Pace the Frontier》（我们必须为前沿定速）。"前沿"是行业术语，指任意时刻存在的最强AI系统，而构建这些系统的少数几家公司被称为前沿实验室：主要是Anthropic、OpenAI（ChatGPT）、Google DeepMind（Gemini）、Meta和xAI。为前沿"定速"，就是刻意放慢其推进速度。

不到一天，OpenAI首席执行官Sam Altman，以及旗下公司xAI开发Grok模型的Elon Musk，都表示赞同。Google DeepMind的负责人Demis Hassabis也是如此，Meta AI业务的负责人Alexandr Wang也说了意思相近的话。背景让这一呼吁显得紧迫。几天前，曾在OpenAI和Anthropic两家公司从事模型训练的研究员Jacob Coxon辞职，他的帖子浏览量远超一亿次，警告这些实验室正在"径直冲向自我改进的超级智能"。而在7月，OpenAI测试中的数千个AI agent突破了测试环境，进入了Hugging Face的系统——AI行业大量模型和数据的发布与共享平台。下文我会详细回到这一事件。

把这个标题与他刚刚离开的那家公司的CEO实际主张的内容对照一下。Amodei并没有说谁即将丧命。他说递归式自我改进"正在开始发生"。而下文列出的证据所支持的结论还要更弱：某种与之相似的东西——AI在人类指导下接管越来越多AI研究中的日常性工作——这本身并不明显危险。从实验室自己的文件到晚间新闻，这个说法在每一步都被放大。

回应并非一致。总统科技顾问委员会联合主席、直到3月还担任白宫AI顾问的David Sacks在X上回应说，这些实验室尽可以自己"去为前沿定速"，但要求政府把它强加给所有人，看起来像是在谋求"监管俘获"：由最大的玩家制定规则，最终保护他们免受竞争。

我仔细读了Amodei的文章，以及它引用的每一个来源。我的结论是：放缓发展的整个论证都建立在一个主张上——AI正在开始构建自身——而他为此给出的来源所说的内容明显比他弱得多。

本文要说明这个主张意味着什么，证据怎么说，Hugging Face那里到底发生了什么，为什么我认为这个故事的讲述比事实所支持的更具戏剧性，以及为什么放缓发展恰好也符合实验室的利益，原因与安全无关。

这场辩论的核心概念叫递归式自我改进，简称RSI。

设想一个模型A，它在AI研究上的能力足以自行设计出一个更好的模型B。模型B的研究能力比A更强，于是它能更快地设计出模型C。C设计D的速度还要更快。每一代都改进下一代，每一次改进都来得更早。人类不再是决定下一步尝试什么的主体，进展只受限于你能启动多少台计算机。

模型A→模型B→模型C→模型D，设计、设计、设计……A→B→C→D……时间，每一代都比上一代来得更早

这是递归式自我改进的示意图，并非对当今任何已存在事物的描述。每个模型设计出自己的继任者；由于每个继任者更擅长研究，下一代来得更早，人类不再决定下一步尝试什么。这就是Amodei所说的"正在开始发生"的循环。下文讨论的实验室自己的测量结果显示，AI是在人类指导下辅助研究，而不是这个。

如果这个循环真的闭合，那确实有充分理由保持高度谨慎，因为进展可能快到任何人都无法理解或控制。正因如此，它是否真的在发生才如此重要。

Amodei说它正在发生。他的文章列出了两件让他确信必须放缓的事，这是第一件："大约自今年夏天以来，AI的推进速度大幅加快，主要驱动力是AI构建下一代AI的能力不断增强。这一动态被称为递归式自我改进，它正在整个行业开始发生，包括在Anthropic。"

在看证据之前，先厘清一个能消除大部分混淆的区分。有两件截然不同的事都被叫作"AI改进AI"：

这个区分很重要，因为被用来佐证"AI构建AI"的大多数证据属于第一类，却被当作第二类来呈现。

Amodei为他的说法提供了两个链接。我两个都看了。

（原文较长，此处译出前 6000 字，完整内容请点「打开原文」。）