Nicholas Decker 谈 AI 安全：反对单方面停研策略

Nicholas Decker 2026年11月2日 30 7 6 分享 本文由Mechanize, Inc.赞助。他们正在招聘多个职位，包括软件工程师。我鼓励你在这里申请。我保证我的观点与赞助完全无关。

Scott Alexander最近写了一篇文章，反对“SURA”——即“单方面停止，提高认知”（Stop Unilaterally, Raise Awareness）。这指的是某些极度担忧AI安全的人的一种倾向：他们希望AI公司现在就停下来，不管其他公司是否会跟着停；并且希望任何关心AI安全的人立即从自己所在的公司辞职。取而代之的是，我们应该把一切押注在通过政治进程彻底阻止AI上。Scott Alexander认为这很荒谬，我也这么认为。

我之前已经阐述过我对AI对齐的看法，所以这里只做简要概述。我认为AI风险确实是风险，这与那些把足够强大的AI视为固有生存危险的人的观点相反。AI杀死我们所有人的可能威胁，来自AI像癌症一样行事，并且长时间逃避其他AI监控代理的控制，从而用生物武器搞出大乱子，或者让世界各国政府相信它们正遭受核攻击之类的事情。AI公司可以通过采取代价高昂的行动来缓解这种风险，无论是增加训练期间的监控投入，还是在出现风险情况时推迟进展。为了负担这些很可能出于意识形态动机的行动，它们需要至少对落后公司保持领先，并拥有一定程度的市场力量。如果领先的AI公司现在暂停，落后的公司就会赶上，我们只会看到公司采取更冒险的策略。

我认为这一点在我的圈子里被严重低估了。这当然是最重要的时刻，然而，至少在未来三年内，并不存在AI杀死我们所有人的现实路径。我们真的需要认识到这一点！

当然也不存在这样一条路径：AI制造了一场灾难，然后自己存活下来——因为我们离拥有能自动化维持存在的机器人还差得远。一个自利的AI不会这么做。AI能力突然爆炸式起飞也不太可能。坦率地说，我认为AI发展已经走过的路径排除了这种可能。训练AI，无论是预训练还是后训练，都需要消耗巨量资源。那种旧威胁模型——一个自我改进的程序在几小时内一路狂奔完成世界统治——与创建新模型需要指数级增长算力这一事实相矛盾。一个失调的AI为了自身目的追求破坏性目标，将不得不在很长时间内不被其他AI发现地执行该计划。

唯一现实的威胁，要么是超强黑客能力让大国相信彼此正在交战——我们确实应该解决这个问题，尽管我猜我们正在秘密进行——要么是人类将其用于生物武器。我认为这两种路径实际上都不太可能发生，现在更不可能。

AI绝对可以造成损害。它在黑客攻击方面有效得惊人，如果人类利用AI造成数十亿经济损失，我也不会感到惊讶。事实上，考虑到公司不得不采取的预防措施，它可能已经造成了。然而，这不是生存风险！这是一场大乱子，不是文明的终结！

所以如果你想暂停AI，现在不是时候。消耗掉有AI安全意识的公司相对于其他公司的领先优势，对你没有好处。如果你还记得，2019年OpenAI拒绝发布GPT-2，因为他们担心被滥用。事后看来，这实在相当愚蠢。当GPT 8和Opus 7问世时，我们会觉得把暂停机会浪费在Fable 5.2和Opus 6上相当愚蠢。

如果反AI倡导者想要有可信度，就必须存在某种可能性，即他们希望AI发展顺利。

有许多人反对AI，其中很多人反对的理由非常糟糕。任何政治运动都是如此。有些人反对AI，是因为他们认真权衡了发展AI的利弊，认定继续推进太危险；而另一些人反对AI，是因为他们被成功者惹恼、反对变革，或者根本不重视人类繁荣。

如果你的运动由这些人组成，那你几乎无法说服任何公司放慢脚步。他们或许有理由认为，人们关于危险的任何说法都只是伎俩——就像处于不利地位的敌人想要停火一样——至少直到你获得实力地位，可以重新开始。我认为这很像气候变化——人们否认气候变化存在，未必是因为完全不同意，而是因为做出任何让步都会让最糟糕的解决方案成为可能。

相反，如果公司预期它们有通往未来利润的道路，并且从他人那里得到的信号确实有信息量，那你就能有说服力。把不为实验室工作当作做一个正派人的条件，是在烧毁这一点。

我们永远不会知道我们已经解决了对齐问题。

（原文较长，此处译出前 6000 字，完整内容请点「打开原文」。）