Anthropic警告其已接近实现递归自我改进能力

虽然外界大多关注 Anthropic 在周一修订后的 S-1A 中披露的最新财务数据（营收大幅增长，但支出同样水涨船高），这家 AI 实验室却在文件细则中抛出了另一枚小小的重磅炸弹。

文件似乎警告称，公司正处于创造一种具备递归自我改进（RSI）能力的模型的边缘。

RSI 指的是 AI 在自我训练方面变得如此强大，以至于引发 AI 能力急剧加速的那个临界点。在对 AI 末日论者看来，RSI 代表着万劫不复的灾难——AI 将自身构建得足够强大，从而脱离人类控制，并且在追求自身目标时可能对造成的损害漠不关心。

而对 AI 拥趸来说，RSI——或者说 AI 可靠地利用自身实现改进的某种版本——代表着这项技术的希望所在：它将成为一种带来难以想象的生产力、科学发现乃至更多的工具。

Anthropic 似乎认为 RSI 既是希望也是危险。它在 S-1 中表示，公司在研发中使用了 AI，但同时警告：“使用 AI 帮助构建能力更强的 AI 也可能带来相当大的安全风险，尤其是如果它急剧加速了进展步伐。这是我们《负责任扩展政策》所涵盖的领域之一，该政策阐述了我们在接近所谓‘递归自我改进’时监控和缓解风险的计划。”

今年早些时候 RSI 一词流行起来时，许多人认为它不过是个流行词，或者往好了说，也是一个过于难以实现、定义或证明的目标。

但在周一，Anthropic 在其风险因素部分新增了陈述，称：1）它已经使用 AI 开发了新模型，而这些模型的能力跃升在当时并未被其察觉；2）它可能很快就会达到自己内部对 RSI 的定义（以下加粗部分为我们所强调）：

此外，我们越来越多地使用 AI 系统来加速自身的研发，这可能导致我们模型能力的进步速度快于我们开发、验证和实施相应安全、对齐与安保措施的能力。因此，我们过去曾在未能识别的情况下错过了开发速度的显著加快，未来也可能再次如此。

例如，我们基于内部估算以及对未来模型的预期（而非当前模型）表明，我们可能即将达到《负责任扩展政策》对“可归因于 AI 的显著加速进展”的定义。我们尚未将任何当前模型认定為超过这一阈值，我们也在继续评估底层数据。

不过，Anthropic 在文件中 также表示，目前其没有任何模型跨过这一 RSI 阈值，并承诺在可预见的未来让人类留在研发流程中。“我们不预期能够在缺乏有意义的人类监督或理解的情况下，安全地使用 Claude 完全自主地设计和构建一代又一代的前沿模型——即便这在技术上成为可能。因此，我们正在考虑更新《负责任扩展政策》，以确保在 Anthropic，前沿模型的开发始终由人类掌控。”

怀疑者可能会指出，S-1 兼具信息披露和营销两种功能，而声称接近拥有一个强大到能够自我构建的模型，可能属于后一类。

尽管如此，毫无疑问，Claude 的能力——尤其是在编程、数学和网络安全方面——今年实现了飞跃式增长。如果 Anthropic 认为 RSI 的可能性已经迫近，也许我们应该相信它并采取行动——或许是以此为依据进行治理。

当您通过我们文章中的链接购买时，我们可能会赚取少量佣金。这不会影响我们的编辑独立性。

11月4日 波士顿 买一赠一 带上您的联合创始人了或合作伙伴免费参加 TechCrunch 年度终极创始人训练营，覆盖更多内容 在买一赠一优惠到期前预订 英国《金融时报》报道：Anthropic IPO 后预计将获信用机构高“垃圾”评级 Lucas Ropek 谷歌首颗数据中心卫星已上线并写起了诗 Tim Fernholz 随着搜索流量枯竭，Reddit 宣布转向登录体验 Sarah Perez AI 高管们可能过于脱节，难以面向普通大众构建产品 Amanda Silberling 风投们将在 Anthropic 的 IPO 上赚取数十亿美元，但亚马逊将赚得（多得多） Marina Temkin 亿万富翁 Palmer Luckey 不会因财富税离开加州 Julie Bort Anduril 与高通推出 BlueChip，一种新型美国制造笔记本电脑 Julie Bort