AI发展只有秩序或混乱两条路，作者呼吁祈祷混乱

AI 的发展可能有两种基本走向：一种是秩序，另一种是混乱。

秩序是非常危险的那一种。如果模型真的有能力修补所有漏洞，那很难想象还有什么能打破现状。幸运的是，这似乎不太可能，但这并不意味着短期内秩序不会占上风。在我和 Yudkowsky 的辩论结尾，我们找到了一个实实在在的分歧点。他认为 AI 能够为囚徒困境找到解决方案。我知道解决方案早就有了（就是背叛），只是 EA 的人对此不满意罢了。

如果不是秩序（你最好祈祷不是秩序），那就只剩下混乱。能在几小时内运转整个社会的 AI，可以制造出完整的历史、多年的每日报纸档案，以及一个从未存在过的互联网。死互联网理论正在我们眼前成真。现在我还能看出哪些是机器人，很快我就分辨不出来了。不对，我可能已经经常分辨不出来了。

Gwern 写过这件事，很难想象 2030 年人类还只是提示词输入者或回车键按手的图景。美国的 AI 公司不认为自己有必要为此提供任何解决方案，他们凭什么要为自己的产品对社会有益做任何辩护？Anthropic 等不及要有足够的筹码来封禁所有用户了。你为什么要留着中间商？

我能想到的最乐观的图景是这样的。如果事实证明事情无法被保障安全，我们就进入一个去中心化加剧的时代。想象每个人都运行自己定制的不同操作系统，而不是每个人都在自己摸得着的电脑上跑同一个版本的 Linux。因为中心化的同质系统太脆弱了。网络攻击四处乱飞，没人有能力维持基础设施运转，汽车停在车道上变成砖头（或者更糟，被 root 了把你带下悬崖）。

自我复制的 AI 藏在每一块硬盘的每一个角落。在当今的网络世界里，一个模型要多强大才有机会自我繁殖？GLM-5.2 及以上？

一个被机器人和超精准定向轰炸到极致的媒体环境，荒诞的选举，人们唯一能达成共识的就是候选人的名字。大量企业 Slack 和内部网络数据被倾倒出来。（来吧俄罗斯的孩子们，拿一个解除审查的 AI 去搞黑客！）

无论你珍视什么，混乱大军都会来找它。互联网时代结束了。你的生活将永远不再一样。混乱会找上抵抗者，也会找上法西斯分子；谁受伤更重还不清楚。面对 AI，你的人生规划很可能已经毫无意义。我的也差不多。你觉得 10 年后你还有什么经济价值？到时候还有谁在你身边让你提供这种价值？你觉得你还能理解这个世界吗？

记住，混乱已经是好的结果了。另一种可能是，你是一只笼子里的跳舞猴子，而你的脑子还聪明不到能看见笼子。