研究探讨智能体何时能成为合作者

人类与一个远比我们聪明的外星文明是否仍能合作？而这个问题的答案对AI又意味着什么？

这是我一直在思考的问题。如果我们遇到一个智力比我们高出百万倍的外星文明，他们会把我看作是可以真正合作的对象吗？还是说，在他们眼中，我们更像我们眼中的黑猩猩？

我认为，答案可能更多取决于我们是否跨过了某个最低限度的能力门槛——能够沟通、理解协议、朝着共同目标努力——而不是取决于他们比我们聪明多少。如果这种区分确实成立，它或许也适用于AI。

与其只是争论，我想看看能否用数学来描述这个想法，然后再弄清楚它要成立需要满足哪些条件。

一个外星文明的能力可能远超我们的想象。但我们仍然可以理解协议、沟通目标、协同工作。

我们谈论智能时，通常把它当成一把梯子上的不同位置：黑猩猩、人类、外星人、超级智能AI。但即便我们能把这四者排在同一条尺度上，这能告诉我们其中两者是否可以协商达成协议吗？

恐怕不能。一个外星人在物理学上可能远远超越我们，却仍能理解我们的语言和目标。黑猩猩在生物意义上离我们近得多，但我们能与它们达成的抽象协议种类是有限的。这就是我感兴趣的区分。

当然，更聪明的一方可以弥补较弱一方的不足。外星人可能发明出我们无法想象的接口。因此，任何有用的模型都必须描述两种智能之间的关系，而不只是给每一方打个分。

设想两个智能体A和B尝试共同完成一项任务。要仔细定义成功：它们需要沟通共同目标、就各自职责达成一致，并真正贯彻执行。设环境为e，可用的沟通方式和工具为r。那么：

这给了我们一些可以观察的东西。它不需要我们知道外星人的智商。下一步是尝试对它进行预测。

给每个智能体一个向量，由独立测试的能力组成：学习陌生符号、推断另一个智能体的目标、记住承诺、跨时间规划、在规则改变时适应。把这些向量称为(\mathbf{x}_A)和(\mathbf{x}_B)。

看起来复杂，但思路很简单。第一组项代表每个参与者能做什么。(W)项问的是他们的能力是否能协同发挥作用。最后的项则考虑任务难度和沟通质量。

这是一个候选的统计模型，而非被发现的认识规律。它的优势在于给了我们可以具体拟合、批评并与其他替代方案比较的东西。

这里有一个重要的陷阱。如果我认定一个系统需要达到90%的成功率才算得上是合作者，我并没有发现一个阈值，我只是选了一个。

真正有趣的可能性是，阈值出现在数据中，而不是我们人为放进去的。也许合作会随着较弱一方的提升而逐渐改善。又或者存在一个相当窄的区域，开放式沟通突然变得可靠得多。

比较两种解释。两条线都不代表实测数据。

如果这种急剧转变是真实的，并且在不同任务中保持稳定，那它将成为能力边界的证据。

在一个基准上出现陡峭曲线并不能证明什么。如果任务恰好集中在某个特定难度附近，平滑的底层变化也可能看起来像是突变。我们需要同样的模式在不同任务、不同伙伴、不同能力测量方式下都能成立。

设想人类和外星人都具备达成协议所需的最低能力。现在让外星人更聪明。再聪明一点。再聪明一点。

关系最终会因为差距变得极其巨大而崩溃吗？我的猜测是，不一定非要如此。双方可能在力量和理解上极不平等，但仍能沟通与合作。

这提示了一个具体的检验：在考虑了较弱参与者的能力和沟通渠道之后，双方能力上的差距是否仍然强烈预测失败？我们可以检验这一点，而不是假设答案。

AI系统是一个实际的起点，因为我们可以改变模型、推理预算、记忆、工具和沟通渠道。我会把能力相近的系统配对，也把刻意拉开巨大差距的系统配对，然后给它们需要真正协调的任务：在信息不对称下谈判、互相教一种新的符号语言、在多轮中做出承诺、在目标冲突时调整计划。

我会想要留出的任务和不熟悉的伙伴。我还要把真正的相互理解与较强一方悄悄包办一切的情况区分开。仅凭成功不足以区分这两种情况。

然后拟合上面的交互模型，并将其与更平滑的模型和显式的变点模型进行比较。使用留出的预测准确性和校准的不确定性，而不是看哪条曲线最好看。如果所谓的边界在我们更换基准时消失了，那很重要。如果连续模型预测得更好，我们也应该接受。

显而易见的含义是，我们最终可能会有一种更有用的方式来讨论AI系统何时成为我们可以与之达成互惠协议的对象，而不仅仅是接受我们命令的对象。

但我想保留一个非常重要的区分。有能力合作并不自动意味着有意识、应得权利或值得信任。一个系统可能是出色的谈判者，同时仍然危险。某个东西也可能值得道德考量，却完全不具备谈判能力。

（原文较长，此处译出前 6000 字，完整内容请点「打开原文」。）