研究者探讨AGI一年内实现的时间线与全球暂停难题

需要说明的是，我并没有对这些问题思考很久。

我同意它们之间存在相关性，但我大概认为相关性没有你想的那么强，因为如果其中一项注定要失败，那么在其他项上取得成功的压力就会更大？

[-]_rpd2h2 0 任何能持续一年以上的暂停，最终都必须变成全球性的暂停。

我认为人们低估了这样一种可能性：某个不在“Anthropic、OpenAI，或许还有 Meta/Google”之列的团队，可能启动强 RSI。目前这些团队内外之间存在研究差距，但 RSI——即便是弱的人在回路中的 RSI——恰恰是研究会随墙上时钟时间加速的现象。而其中大部分只需要“仅推理”算力。此外，作为通往 RSI 的爬坡的一部分，和/或紧随其后，我们应当预期出现架构性突破，例如无需算力昂贵的预训练即可直接编辑权重。可能需要进一步调整认知取向，以认识到“最终”按墙上时钟时间衡量可能非常短。没有这种认识，单边禁令可能只会让我们丧失能动性，而“我们或许发明了灭绝之枪，但至少我们没有扣下扳机”这种想法也带不来多少安慰。

引用 Yudkowsky 四月的文章……

如果 ASI 禁令要起到任何作用，它必须在所有地方都有效。当有人对我说：“你怎么看我们提出的国家层面禁令——在有了合理监管之前不再建更多数据中心？”我回答说：“AI 可以抢走你的工作，机器超级智能可以杀死你，从另一个国家的数据中心做到这些同样容易。”他们后来增加了一项条款，说 GPU 也不能出口到其他国家，直到那些国家有类似的合理监管。……

[但是]冰岛的数据中心，如果只在当地合法，同样可以把 AI 能力升级到诞生出杀死我们的人工超级智能（ASI）的程度。你在没有数据中心的城市里也不会安全。你可以想象 ASI 一方拥有成群到处搜索的飞行无人机；不过实际上还有一些可预见、ASI 能快速获取的技术，比无人机蜂群危险得多。但那些解释起来要更久，无人机蜂群已足以说明问题。你不可能靠躲在树林里就免于 ASI 的威胁。

……如果一家公司的产品只危及那些知道自己将要面对什么的自愿客户，那么按强默认原则，这是公司与客户之间的事。

如果产品可能杀死站在客户旁边的某人，比如二手烟，那就是区域性问题。不同的城市或国家可以试行不同的法律，人们可以决定住在哪里。

如果产品杀死的是站在地球另一端的人，那就是国际谈判与条约的事务。

ASI 就是一个会杀死站在地球另一端的人的产品。仅仅把一家 AI 公司赶出你自己的城市，并不能保护你的家人免于死亡。它甚至不能保护你的城市在时间线更早阶段免于失业。

[-]Grendel12092h2 -14 我对（极）短时间线的更新有一些疑虑。虽然我对 Daniel、Ryan 和 METR 怀有极大的敬意，但我也不认为三个人在 3 个月里分析一个市值万亿美元、6000 人的组织，就能得出高置信度的激进结论。我不愿过度依赖 METR 的一些原因：

我认为还有另一种可行的解释：指数级的研发/基础设施投资维持或提高了 AECI 速率，尤其是在竞争对手方面；此外 Opus4.6/Mythos 加上更好的脚手架带来了永久性的加速，而“简单编码”已显著加速，为研究人员解锁了非常显著（但不算疯狂的）收益。我怀疑仅仅扩大研究人员规模（无论是 AI 还是人类）来运行更多实验，就会产生超指数级（鉴于 AECI 的线性增长即指数增长）递增的结果。