研究者提出"逆向博弈论"以约束AI模型行为

「逆向博弈论」可能有助于约束 AI 智能体

借鉴经济学等学科的思路，或许能帮助 AI 安全研究者控制 AI 模型，即便他们并不理解这些模型。

一种被称为「逆向博弈论」的新方法，旨在通过设计出能让强大 AI 模型遵守规则的激励机制，来实现对它们的控制。

随着 AI 模型能力不断增强，安全研究者正加紧确保它们与人类意愿「对齐」——换句话说，就是确保失控的智能体不会违法、不会入侵未授权服务器，也不会向大城市释放毒气把我们全部杀死。

迄今为止，这类工作大多集中在两件事上：一是试图窥视 AI 的「大脑」以理解它在「想」什么，二是训练模型遵循我们所珍视的价值观。例如 Claude 有自己的「宪法」——某种道德准则。

问题在于，这些技术似乎效果并不理想：已有研究表明，模型会故意在测试中表现不佳、隐藏自己的意图，并误导评估者。

如今，一些对齐研究者认为，逆向博弈论（又称机制设计）可能带来更好的结果。博弈论试图预测理性行为者在给定一套规则下会如何行动，而逆向博弈论则试图设计规则，以诱导出我们希望鼓励的那类行为。

现实世界中机制设计的一个例子，是切蛋糕的经典策略：一人负责切，另一人先选。这就激励切蛋糕的人尽量切得均匀。其他例子还包括网约车的动态调价，它鼓励司机在高峰时段出车；以及次价拍卖，即中标者支付第二高的出价而非最高出价。平台用这类拍卖出售在线广告，因为它们促使买家把出价压到接近自己愿意支付的最高上限。

在 AI 领域，机制设计的出发点是一个前提：我们也许永远无法充分理解前沿模型的内部运作，从而确保它们对齐。这意味着我们应当设计出激励机制，让智能体以我们期望的方式行事，而不管其内部究竟发生了什么。

MIT 经济学家 Stephen Morris 与耶鲁、哥伦比亚大学的同事最近发表的一篇预印本论文，提出了一些可能的机制，用来阻止智能体在测试中「放水」（即假装自己比实际更差——例如为了不触发安全机制）。

模型不再仅仅因为测试表现好而获得奖励，而是可以因其答案能在多大程度上预测第二个模型的回答而获得奖励。这样一来，故意装傻就成了亏本的选择。「AI 智能体非常清楚其他 AI 智能体能达成什么，」Morris 说，「所以这看起来确实是一个交叉核查更能发挥实际作用的场景。」

该论文还建议让智能体相互对抗，形成竞争动态，激励它们发挥最佳水平；或者把已知偏向相反方向的智能体配对，根据它们输出的一致程度给予奖励，从而激励它们得出最优答案。

第二种思路由普林斯顿大学计算机科学教授 Elad Hazan 设想，即设计从人类社会约束人们「守规矩」的方式中汲取灵感的机制：社会规范、司法系统、自由市场资本主义的金钱激励。「我们想让超级智能 AI 对齐，」他说，「为什么不先谈谈人类？我们是如何让人类对齐的？」

Hazan 提出的机制是让 AI 模型轮流扮演「解题者」和「审计者」：前者负责解决问题，后者负责核查其他人的工作。「一个智能体扮演执法者，另一个扮演公民，」他说。

训练过程中，模型根据结果获得奖励：被抓到作弊的解题者会受到惩罚，但没能抓住作弊者的审计者同样受罚。当审计者与解题者出现分歧时，案件可以被送交「审判」——也许由人类专家来判定谁对谁错。

Hazan 承认，存在智能体相互勾结的风险——正如审计师与其本应审计的企业勾结，或腐败警察与罪犯勾结一样。但这个问题可以通过给审计者足够高的奖励来解决，让被抓不值得冒险（在 AI 训练的世界里这比现实世界容易得多，现实中警察薪资预算紧张）；同时借助类似「神秘顾客」的手段来审计审计者。

Hazan 提到经济学家 Gary Becker 获得诺贝尔奖的研究，后者在 20 世纪 60 年代提出了「理性犯罪者」的概念。他说，罪犯违法并非因为天生是坏人，而是在给定激励下，犯罪是最理性的选择。只有当收益超过潜在惩罚时，犯罪才说得通。

他认为，对齐不应被视为模型的某种属性，而应被看作对其某一时刻行为的描述。「你是个好人，」他说，「那你对齐了吗？我不知道。你大多数时候大概是对齐的，但也可能存在你没对齐的情境。」

将机制设计应用于 AI 的一个潜在问题在于：它依赖于 AI 智能体行为理性这一假设。而机制设计在人类身上的记录好坏参半——人类常常不会像经济模型所说的那样行事。

（原文较长，此处译出前 6000 字，完整内容请点「打开原文」。）