Anthropic 修订版S-1警告：公司接近实现递归自我改进能力

虽然外界大多关注 Anthropic 在周一修订后的 S-1A 中披露的最新财务数据（营收在飙升，但支出同样如此），这家 AI 实验室却在细则中埋下了另一枚小小的重磅炸弹。

文件似乎在警告，公司正处于创造一种具备递归自我改进（RSI）能力的模型的风口浪尖。

RSI 指的是 AI 在训练自身方面变得如此强大，以至于引发 AI 能力急剧加速的那个临界点。在 AI 末日论者看来，RSI 代表着万劫不复的灾难：AI 将自身构建得足够强大，从而脱离人类控制，并且在追求自身目标时可能对造成的损害漠不关心。

而在 AI 拥趸眼中，RSI——或者说某种 AI 可靠地利用自身实现改进的版本——代表着这项技术的希望所在：它将成为一种带来难以想象的生产力、科学发现乃至更多的工具。

Anthropic 似乎认为 RSI 既是希望也是危险。它在 S-1 中表示，自己在研发中使用 AI，但同时警告：“利用 AI 帮助构建能力更强的 AI，也可能带来相当大的安全风险，尤其是在它急剧加速进步步伐的情况下。这是我们‘负责任扩展政策’所涵盖的领域之一，该政策阐述了我们在接近所谓‘递归自我改进’时监测和缓解风险的计划。”

当 RSI 一词在今年早些时候流行起来时，许多人认为它只是一个流行词，或者充其量是一个太难实现、太难定义、太难证明的目标。

但在周一，Anthropic 在其风险因素部分新增了陈述，称 1）它已经利用 AI 开发出能力跃升的新模型，而当时它并未意识到这种跃升；2）它可能很快就会达到自己内部对 RSI 的定义（以下加粗部分为我们所强调）：

此外，我们越来越多地使用 AI 系统来加速自身的研发，这可能使我们模型能力的提升速度快于我们制定、验证和实施相应安全、对齐与安保措施的能力。因此，我们过去未能识别、将来也可能无法识别自身开发速度的显著加快，直到它已经发生。

例如，我们基于对未来模型的内部估计和预期（而非当前模型）表明，我们可能即将达到“负责任扩展政策”中对“可归因于 AI 的显著加速进步”的定义。我们尚未将任何当前模型认定为超过这一门槛，我们也在持续评估底层数据。

不过，Anthropic 也在文件中表示，目前尚无任何模型跨过这一 RSI 门槛，并承诺在可预见的未来让人类留在研发流程之中。“我们不认为，在缺乏有意义的人类监督或理解的情况下，能够安全地使用 Claude 完全自主地设计和构建一代代前沿模型——即便这在技术上成为可能。因此，我们正在考虑更新‘负责任扩展政策’，以确保在 Anthropic，前沿模型的开发始终由人类掌控。”

怀疑者可能会指出，S-1 兼具信息披露和营销两种功能，而声称即将拥有一个强大到能够构建自身的模型，可能属于后者。

尽管如此，毫无疑问 Claude 的能力——尤其是在编程、数学和网络安全方面——今年实现了突飞猛进。如果 Anthropic 认为 RSI 的可能性已经迫近，也许我们应该相信它并采取行动——或许是加以治理。

当您通过我们文章中的链接购买时，我们可能会赚取少量佣金。这不会影响我们的编辑独立性。

11 月 4 日 波士顿 买一送一 带上你的联合创始人或合作伙伴免费参加 TechCrunch 年度终极创始人训练营，覆盖更多内容 在买一送一优惠到期前预订 英国《金融时报》报道：Anthropic 预计 IPO 后将获信用机构高“垃圾”评级 Lucas Ropek 谷歌首个数据中心卫星已上线并写起了诗 Tim Fernholz 币安暂停提款，黑客涉嫌窃取数十亿美元加密货币 Zack Whittaker 随着搜索流量枯竭，Reddit 宣布转向登录式体验 Sarah Perez 苹果触屏 MacBook Pro 将笔记本价格推向新极端 Lauren Forristal AI 高管可能过于脱节，难以面向大众构建产品 Amanda Silberling 风投将从 Anthropic 的 IPO 中赚取数十亿美元，但亚马逊将赚得（多得多） Marina Temkin