研究者称可靠对齐大语言模型在原理上不可能实现

强大的 AI 难以预测。你的机器人管家可能突然毫无缘由地决定杀掉你¹，就像 Bing 那个乐于助人的聊天 AI 有时会试图勒索或引诱用户一样。「解决对齐问题」意味着要足够深入地理解哪怕超级智能的 AI 心智，以至于能确信它们永远不会做出这种事。在我看来，为 LLM 解决对齐问题不仅不可能，而且概念上就不成立：我们甚至无法说清成功是什么样子。

在 LLM 出现之前，AI 安全研究者认为 AI 会是一个「盲目的优化器」：像国际象棋引擎一样，它会以超人般的能力专注于实现某个固定目标。如果目标不安全（比如「制造廉价的回形针」），一个强大的 AI 可能在实现目标的过程中造成巨大破坏。因此，对齐 AI 就意味着弄清楚如何指定正确的目标。这比听起来要难²，但至少可以想象它能够实现。

不幸的是，现代 LLM 不像国际象棋引擎。它们不是基于某种具体的、可验证的奖励³来训练的，而是被训练去模仿一个庞大且高度多样化的人类写作语料库。这让它们变得很奇怪。它们包含几乎无限多的「人格」，会根据输入在这些人格之间无缝切换。前沿 AI 实验室努力让这些人格变得安全且稳定，但仍有许多奇怪的案例，LLM 似乎会切换成神秘或危险的人格。

问题在于，LLM 没有固定目标。没有任何东西——哪怕在原则上——可以被形式化地指定来约束它们的行为。LLM 确实拥有的「目标」是非正式的、有机的、多种多样的，并且随着主导人格（或人格混合）的变化而不断变化。它们被起了个绰号叫「修格斯」（shoggoths），不是没有原因的。所以我们无法通过指定目标来对齐它们。相反，我们必须尝试另一种方法：足够深入地理解它们，以至于能确信它们是安全的。而不幸的是，这条路从一开始就注定失败。

要求对 LLM 为什么生成某个 token 获得完整的理解——或者足够完整的理解——意味着什么？在某种意义上，我们已经拥有了这种理解，因为我们可以从机制上追溯其中的计算过程。但我们不知道这些计算意味着什么。说 Grok 自称「MechaHitler」是因为这数十亿个权重以这种方式相乘，并不能告诉我们 Grok 为什么这么做。出于对齐的目的，我们需要一种更像人类、更少机械化的理解：对动机的完整理解。

要看清为什么要求对动机的完整理解是件愚蠢的事，不妨想象一下把这个问题用在一个人类身上。假设你在雇一个保姆或选一位总统，你想确保他们会按照你的利益行事⁴。毕竟，人类有时会突然做出非常令人惊讶的事。为了让自己确信他们会以你想要的方式行事，要求完整理解那个人的心智，这合理吗？当然不合理。

在这个意义上，谈论「完整的理解」本身就是没有意义的，因为心智并不是一个通过清晰的、可理解的抽象来运作的机制。它是一团电信号和化学冲动的混沌，从中涌现出一个「自我」⁵。根本不存在你所寻找的那种动机！动机在很早的层面就到底了，再往后的因果链只能以机械化的方式追溯：也就是说，无助于理解，原因和基于模型权重的解释无助于理解是一样的。

一个足够详细的机械化解释难道不能给我们所需的信心吗？目前这方面我们最好的工具是「机械可解释性」：特征、神经元、探针和回路。你观察模型做某件事，看它「大脑」的哪些部分被激活⁶，然后将这些与某种行为模式关联起来。如果你能通过人为增强「大脑」的那个部分来诱导出那种模式，你就可以宣称胜利。即使假设完全成功，这个方案也无法提供我们所寻求的那种理解。

首先，我们根据观察到的行为来给模式贴标签，但我们最担心的主要失准情况——LLM 突然执行某种令人震惊的有害行为——从定义上讲是我们在它发生之前不会观察到的。我们无法在不先引发其行为⁷的情况下识别一个特征，而我们只能引发潜在模型不良行为的一小部分。总会存在许多未被追踪的失败模式。

其次，我们给模式贴的标签是我们的猜测，可能是错的。哲学家 Kripke 有个著名的论证：在你遇到相关案例之前，「加法」规则和「夸加法」（quaddition，一种加法版本，其中如果任一数字大于 57，答案总是 5）规则之间没有有意义的区别。同样，我们称之为「善良」的 LLM 特征可能是「除非年份是 2030 年否则善良」，或者「除非 LLM 处于能够造成大规模伤亡的位置否则善良」，等等。从我们的视角来看，这些特征完全无法区分⁸。

第三，即使是一张详尽且标注良好的特征和模式地图，也不能让我们确信模型不会失控。任何模型行为所涉及的完整特征组合都太过、太过复杂，无法解读。例如，如果一个模型「邪恶」特征被激活，是因为它试图避免邪恶，还是试图造成邪恶，还是试图对抗邪恶，还是担心某种假想的邪恶行为，还是预判用户可能会做出这种判断？每个 token 我们都有成千上万个这样的问题要回答。对人类来说，这肯定太多了，多到无法理解⁹。

（原文较长，此处译出前 6000 字，完整内容请点「打开原文」。）