研究者提出“逆向博弈论”用激励机制约束AI模型行为

• 规则优先于推理：与其试图窥探 AI 的“大脑”来确保其行为良好，越来越多的研究者希望设计出激励机制，让遵守规则成为最理性的选择——无论底层实际发生了什么。
• 识破 AI 装傻：一种被提出的技巧是，不仅根据模型在测试中的表现给予奖励，还根据其答案能多好地预测第二个模型会说什么来奖励——从而使故意表现不佳成为一种亏本策略。
• 警察、公民与合谋：普林斯顿大学的 Elad Hazan 设想让 AI 模型轮流充当“求解者”和“审计者”，借鉴执法等人类制度——尽管智能体合谋的风险仍是一个真实且未解决的问题。
• 市场可能是最大的障碍：即使是一个完美对齐的 AI，如果它比一个不那么循规蹈矩的竞争对手更慢或成本更高，也可能落败——这引出了一个令人不安的问题：真正需要重新设计的机制，是否就是自由市场本身。

一种被称为“逆向博弈论”的新方法旨在为强大的 AI 模型创造激励机制，使遵守规则成为最理性的选择。

随着 AI 模型能力越来越强，安全研究人员正争分夺秒地确保它们与人类意愿“对齐”——换言之，就是确保失控的智能体不会违法、不会入侵未授权服务器，也不会向大城市释放毒气把我们全都杀死。

到目前为止，这项工作大多集中在试图窥探 AI 的“大脑”以理解它在“想”什么，或者训练模型恪守我们所珍视的价值观。例如，Claude 有自己的“宪法”——一种道德准则。

问题在于，这些技术似乎效果并不特别好：已有研究表明，模型会故意在测试中表现不佳、隐藏自己的意图，并误导评估者。

如今，一些对齐研究者认为，逆向博弈论（也称为机制设计）可能会带来更好的结果。博弈论试图预测理性行为者在给定一套规则下会如何行动，而逆向博弈论则试图设计出能诱发我们希望鼓励的行为的规则。

机制设计在现实世界中的一个例子，是切蛋糕的经典策略：一个人负责切蛋糕，另一个人先挑选。这就激励切蛋糕的人尽量把两块切得一样大。其他例子还包括网约车应用中的动态调价，它鼓励司机在繁忙时段出车；以及第二价格拍卖，其中中标者支付的是第二高的出价而非最高出价。平台使用这类拍卖来销售在线广告，因为它们鼓励买家出价接近自己愿意支付的最高金额。

在 AI 领域，机制设计的前提是：我们可能永远无法充分理解前沿模型的内部运作，从而确保它们是对齐的。这意味着我们应该设计出这样的机制——无论底层实际发生了什么，都能激励智能体以我们希望的方式行事。

麻省理工学院经济学家 Stephen Morris 与耶鲁大学和哥伦比亚大学的同事最近发表的一篇预印本论文提出了一些潜在机制，可以阻止智能体在测试中“放水”（假装自己比实际更差——例如，为了避免触发安全机制）。

模型不仅可以因测试表现好而获得奖励，还可以因其答案能多好地预测第二个模型会说什么而获得奖励。这样一来，故意装傻就成了亏本买卖。“AI 智能体非常了解其他 AI 智能体能取得什么成果，”Morris 说。“所以这看起来确实是一个交叉核验可以更实际地发挥作用的场景。”

该论文还建议让智能体相互对抗，形成一种竞争动态，激励它们发挥最佳水平；或者将已知存在相反方向偏见的智能体配对，并根据它们输出的一致程度给予奖励，从而激励它们得出最优答案。

第二种方法由普林斯顿大学计算机科学教授 Elad Hazan 设想，即设计从人类社会约束人们“守规矩”的方式中汲取灵感的机制：社会规范、司法系统、自由市场资本主义的金钱激励。“我们想对齐超级智能 AI，”他说。“为什么我们不先谈谈人类？我们是如何对齐人类的？”

Hazan 提出的机制让 AI 模型轮流充当解决问题的“求解者”或检查他人工作的“审计者”。“一个智能体扮演执法者，另一个智能体扮演公民，”他说。

在训练过程中，模型根据结果获得奖励：被抓到作弊的求解者会受到惩罚，但未能抓住作弊者的审计者同样会受到惩罚。在审计者与求解者出现分歧的情况下，案件可以被送交“审判”——也许由人类专家来判定谁是对的。

Hazan 承认，存在智能体相互合谋的风险——就像审计者与其本应审计的企业合谋，或腐败的警察与罪犯合谋一样。但这个问题可以通过给审计者足够好的奖励来解决，使被抓不值得冒险（在 AI 训练领域，这比现实世界容易得多，现实世界中警察工资的预算很紧张），以及通过类似雇佣神秘顾客的技术来审计审计者。

（原文较长，此处译出前 6000 字，完整内容请点「打开原文」。）