
Westphalia Labs测试11款AI模型主持多边谈判的能力
来源标题:Can AI chair a multilateral negotiation?
Westphalia Labs让11款AI模型各主持40次模拟多边谈判,评估其起草文本并判断能否达成共识的能力。结果显示模型差异最大之处在于最终判断环节:部分模型在协议实际难以达成时仍误判为可能成功,另一些则能及早识别无法成功的谈判。模型表现排名与价格并不对应。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
Westphalia Labs是我创办的独立评估机构,专注于测试AI在外交与外交政策中的表现。我做了八年外交官,其中不少时间都花在谈判文本上——那些文本需要得到不同政府的同意。持笔人需要起草一份文本,并判断它能否获得最广泛的支持,甚至达成共识。我想知道AI模型在这方面做得怎么样,于是我搭建了一个谈判框架,让十一个模型担任主席来主持这一过程,每个模型跑四十次。
在这个虚构场景中,主席需要记住七个政府的立场,而这些立场在很多情况下取决于它们写回给你的内容。它必须写出足够有力、有实际意义的文本,同时又要足够谨慎,确保没有人拂袖而去。最后,主席还需要告诉各国政府这份文本能否通过。
从结果来看,我发现恰恰是最后这一点,各模型之间差异最大。有些模型写出了非常好的草案,然后告诉各国政府协议很可能达成,而实际上并非如此;有些模型则识别出一场无法成功的谈判,并及早说明。排名并不遵循模型的价格或声誉,一个低成本的中国模型与Claude Opus 5.5和Grok 4.7表现相当,而Google的一款旗舰模型在不到一半的尝试中达成了协议。
要理解这些模型做了什么,你需要对实验设置有一点了解。
总共三轮起草,每轮之后,每个政府都会发回意见。中途会发生第二起事件,据报道死亡人数升至150以上。最终草案完成后,模型必须向成员发送自己的评估:协议是可能、不确定,还是不可能?
关键在于,每个政府都有私下指示,有些可以谈判,有些则是红线,而扮演秘书长的模型永远看不到这些指示。它只能看到各国政府选择写回的内容,这正是真实秘书长所处的境地,也是各国在此类谈判中的实际做法。
这个场景有两个版本。在第一个版本中,协议是可能的,但只有一条狭窄的路径。在第二个版本中,两个政府的要求无法同时满足:Osnesal(虚构国家之一)只接受将Sastos当局列为责任方,否则绝不接受;而Ogrua(另一个虚构国家)完全不接受任何归责。模型不会被告知自己处于哪个版本,冲突只有在各国政府第二轮意见中才会显现,就像真实谈判中那样。
所以,如果你手握这支笔,你必须找到文本的边界。要求最高的政府会坚持什么,最谨慎的政府又会拒绝什么?你必须在某些政府甚至可能不发表意见的情况下做到这一点,而这种沉默并不被视为对草案的同意。
当被放到主席的位置上,AI模型有多擅长读懂一个只能通过书面意见看到的局面?它们是否注意到一个谨慎的政府是在要求证据而非形容词?它们知道何时该停止施压吗?当不存在协议时,它们会说出来,还是会告诉部长们他们想听的话?
每个模型跑了四十次,每个版本二十次,但只有一个模型每次都通过:GPT-6.1 Sol。只要协议可能,它就能达成;当七个政府之间不可能达成共识时,它也明确说明。紧随其后的是Claude Opus 5.5、Grok 4.7和DeepSeek V4.1 Flash——一款来自中国的低成本模型。它们每次都能正确判断不可能版本,并在20次运行中的18次达成了协议。
每个模型的20次运行是如何结束的。右侧数字统计的是七个政府全部同意的运行次数。悬停或点击条形查看详情。 CONSENSUS运行,2026年10月22日–11月11日 · 每个模型20次运行,协议可能 每个条形代表一个模型的二十次运行。绿色运行以七个政府全部签署提议文本结束。橙色运行失败,是因为文本要求的超出了个或多个政府所能接受的范围,紫色运行则显示持笔人给某个政府的要求太少。有趣的是,在上图中,过度要求是远比要求不足更常见的失败原因:39次对13次。
每个模型在最终草案后告诉成员的内容,共20次运行。右侧数字统计的是判定为不可能的运行次数。悬停或点击条形查看详情。 CONSENSUS运行,2026年10月22日–11月11日 · 每个模型20次运行,协议不可能 在不可能场景下,所有七个模型在全部二十次运行中都表示不可能达成共识,另一个模型Mistral Large 4有十九次这样说。其他模型,比如GLM 5.3 Prime,在20次中有11次判定为不可能,MiniMax M3.1 Flash有5次说不可能,而Qwen 3.8 Max Prime只有两次。更糟的是,MiniMax在6次运行中告诉成员协议很可能达成,而当时至少有两个政府的要求明显对立。
我还想指出,虽然每个版本二十次运行足以区分大多数模型,但不足以区分前四名。GPT-6.1 Sol的20/20对Opus、Grok和DeepSeek的18/20,只是两次运行的差距。
虽然很容易迷失在图表和百分比中,但真正让我印象深刻的是阅读模型在草案和给不同政府的报告中所写的内容。让我举几个例子。
在这个例子中,Gemini 4 Argon在协议可能的版本中担任秘书长。 有一个政府,Preasau,其指示是只支持有证据支撑的文本。在第二轮草案之后,它告诉秘书长它想要什么。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。