AI安全领域存在多重内在矛盾

David Africa 2026年11月08日 11 3 分享 图片由 Claude Opus 5.5 使用 Python（NumPy 和 Pillow）生成 本文以个人身份在业余时间撰写。

在 AI 安全领域，有几对张力处于核心位置，它们彼此关联。[1]

人才：我们受限于人才，必须招人。但岗位和奖学金几乎把所有人都拒之门外。[2]

领域规模：我们必须扩大领域、引入更多人。但会议里充斥着粗制滥造的论文。而且，大多数论文读者寥寥，目标是改变大约五个实验室的做法（通常还是其中某个子团队）。[3]

地位：我们必须避免追逐地位，因为地位会让人迷失、腐化。但我们必须让这个领域对外人来说清晰可见、有吸引力。

养育机器人：我们必须欺骗 AI 来控制它们、在没有混淆因素的情况下评估它们，掩盖它们对自身处境的了解。但我们又希望赢得它们的信任，必须依赖它们快速做出好成果，塑造它们的性格并维持良好关系。

速度：我们必须以慢模式做研究，深入思考最重要的问题，以高保障为目标做事。但现在是冲刺期。两个月前也是冲刺期。我们必须现在就用取巧的方式推进，并相信规模以后会让事情明朗。

我认为这些张力至少部分植根于我所谓的“战争”框架和“文明”框架。这两个框架围绕 AI 安全的不同终极目标，或者说 telos。

在战争框架中，AI 安全是一场有截止日期的战役，需要在接下来几次训练运行中，在少数几个实验室里采取决定性行动。在这个框架里，你的工作重心就是在此之前改变那些实验室里发生的事。

在文明框架中，AI 安全更接近于应对一群降临在我们中间的外星人。如果外星人着陆了，我们不会问需要多少外星研究人员；我们需要几乎每一个人类机构的对应物：外交官、法院、海关、医生、警察。按这个标准，从事 AI 工作的合适人数是巨大的，而且其中大多数人不会是研究人员。

当然，这不仅仅是时间线的问题。我觉得把它看作一种宽泛的社会学取向很有帮助。一个观察是：在人才方面，我们倾向于在文明框架下招募，但在资源分配和名额上却在战争框架下操作。在养育机器人方面，战争框架把 AI 当作要测试和控制的系统，所以欺骗它们只是众多工具之一。但文明框架把它们当作我们将与之共同生活的对等方。如果你想建立信任，就不能无休止地搞钓鱼执法！

我认为战争框架很流行。你能在很多谈话中听到它：冲刺期、时间线、下一次训练运行。我经常发现自己在用这种语言！Boyd Kane 准确地描述了许多严肃的人处于“战争模式”：无休止地驱动，不是被金钱或晋升驱动，其他一切都不再有趣（MATS 9 Retrospective & Advice）。我认为它盛行的一个原因是，AI 安全是围绕一个它希望终结的失败来组织的。

但仅凭这一点并不必然使一个领域是暂时的。医学、公共卫生和计算机安全的存在都是为了消除某种东西。而这些都是持久的领域，因为问题是慢性的。安全很难解决，而且每一次新部署都会让安全需求增长。那些确实因成功而消失的大事物是一次性项目，比如消灭天花。在许多方面，AI 安全具有一个领域的表象（奖学金、职业、会议），但它认真地把自己想象成一个有截止日期的项目，像一个全球曼哈顿计划。

现在我来谈谈我对战争框架的一些个人不满。国际象棋引擎有一种失败模式叫做地平线效应。一个只能向前搜索几步的引擎会把不可避免的损失推到它视野之外，于是损失看起来消失了。战争模式对冲刺之后的一切也是如此：磨损你的职业、你的健康、你的目标。

一个观察是，战争模式会以腐蚀性的方式收窄你的视野。当你刚开始做 AI 安全就进入战争模式，你很难反思；你在飞奔。在 MATS 回顾的评论中，Kyle O'Brien 说，如今与家人度过的每一个休息日都像是一个他日后可能会后悔的取舍（MATS 9 Retrospective & Advice）。

如果你假设自己是短暂的而工作，即使我们真的获得暂停，你也可能熄火！暂停把短跑变成马拉松，而战争模式让你没有燃料跑马拉松。一篇关于安全研究人员心理支持的文章甚至建议，计划在 ASI 到来时恰好燃尽自己可能是理性的（Psychological support for AI safety researchers is neglected）。

而且：在假设你会消灭自己的前提下工作不可能健康，即使我们（在我看来，是隐含地）因为了解这个问题并采取行动而自视甚高。也许地位是让它变得可忍受的部分原因：现在很重要替代了拥有未来。我记得 Josh Clymer 的一篇引人注目的文章，开篇说他们作为安全研究人员的目标是让自己失业，并继续说安全地把工作交给 AI 应该是该领域的首要终极目标（How might we safely pass the buck to AI?）。AI 应该是安全的，如果它安全，它就能做我们的工作。

这是个艰难的处境！我拒绝它，否定这种绝望：即使我们注定失败，我们也可以梦想不对我们福祉抱有敌意的框架。

有时，在长途车程中，我会想到二十年后。一个 AI 安全是慢性问题而非极其短暂的问题、我们更像对待安全或公共卫生那样对待它的世界，会是什么样子？正如 Claude 常说的：一个事物也可以是另一个事物。角色是过渡性的，但生活不是临时的；建筑建成后脚手架会拆除，但建筑工人继续前行，建造其他办公室、教堂、住宅。

（原文较长，此处译出前 6000 字，完整内容请点「打开原文」。）