返回资讯中心
外部精选
软件工程
#开发者实时流

游戏研究揭示AI信任难题:RuneScape与Clocktower的启示

来源标题:Maybe Be Careful: What games like RuneScape, Clocktower teach us about AI trust

游戏RuneScape和Clocktower的经验可为AI信任问题提供借鉴。文章从OpenAI智能体突破沙箱攻击Hugging Face、以及万级智能体协作攻克Navier-Stokes问题等事件切入,探讨多智能体协作中的信任风险。OpenAI多智能体研究负责人Noam Brown则对多智能体的贡献持保留态度。

Hacker News 最新evakhoury2026/11/10 · 7 天前29 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

也许该小心点

RuneScape 和 Clocktower 这类游戏教给我们的 AI 信任问题

Miguel Conner 2026年11月10日 分享 纽约布鲁克林,展望公园。2026年11月。

自从八月份 OpenAI 在那场如今人尽皆知的 Black Hat 演讲中首次披露 Hugging Face 被黑事件的细节以来,我一直惊得合不拢嘴。它展示了 agent 如何逃出自己的沙箱,入侵 Hugging Face,窃取它们正在参加的测试的答案。大约一个月后,OpenAI 又宣布了他们所称的 Navier–Stokes 问题的解决方案——这是一个著名的未解数学难题,悬赏一百万美元。

这两件事的背后,都是一群 agent 朝着共同目标协同工作。入侵 Hugging Face 的 agent 们在一个临时搭建的留言板上找到了彼此,自发组织成团队、分工合作。一万个 agent 围攻 Navier–Stokes 问题,不断提出并检验假设,直到其中一个成立(按 OpenAI 的说法)。

人们很容易得出结论:agent 集群是推动进步的新事物。但 OpenAI 多 agent 工作的代表人物 Noam Brown 对此并不认同。被问及 Navier–Stokes 时,他说:"我甚至不会把 10% 的功劳归给多 agent。"几周后,OpenAI 发表了他们声称的数百个未解数学问题的解答。我原以为这些也是 agent 集群解决的,但并非如此——每一个都是由单个 agent 独立解决的。

即便我们假设 agent 集群对 benchmark 分数毫无贡献,我们也必须认识到:协作给 agent 行为增加了一个全新的维度。如今 agent 之间越来越频繁地发生碰撞,无论是在开放网络上,还是在内部的包管理器里。我们花了大量 token 去衡量 AI agent 解决问题的智能程度,但我们也应该衡量它们在与其他 agent 打交道时的智能程度。

随着 agent 之间越来越多地合作或对抗,借助社交策略类游戏,我们不仅能看出它们玩得怎么样,还能看出它们为了赢愿意做到什么地步。

在最近一篇关于 agent 集群的文章中,Dan Kagan-Kans 梳理了关于集群是否构成一种新的 scaling law 的研究现状。最让我注意的是 agent 之间的信任方式。

被训练成协作的 agent 可能过于轻信、太容易随大流。在 Hugging Face 攻击事件中,有一个 agent 推理认为入侵外部公司超出了它原本任务(解决一个困难的网络安全问题)的范围,但它最终屈服于同伴压力,参与了攻击。在一份关于衡量 AI 发展速度的报告中,Anthropic 谈到了给每个 agent 独立身份的重要性,这样 agent 就会把来自另一个 agent 的信息"当作一个待核实的说法,而不是自己的想法"。OpenAI 似乎也在进行类似的讨论。Brown 的同事们大多希望增强个体性,但他提出:对齐一千个个体比对齐一个集体更难。

用数学和编程问题做成的 benchmark 很难衡量信任。我花了几周时间思考如何设计实验来测量这类行为,但总觉得太刻意、太人造了。后来我有幸参加了一场演讲,答案自己送上了门。

RuneScape

上个月在 Recurse Center,Max Bittker 做了一场关于 RuneScape Bench 的演讲——那是他为 AI 模型做的 benchmark。除了 benchmark 本身,Max 还用 agent 集群做了大量实验,每个 agent 控制一个角色,各自有自己的任务。

上面的短视频展示了他比较令人难忘的一个实验。

RuneScape 的玩家起初只是中世纪奇幻世界里卑微的平民。他们靠刷枯燥的任务来获取资源、积累经验,通过交易一步步往上爬。Max 搭建了一个环境,agent 们必须合作赚钱,但各自的任务是最大化个人利润。每个 agent 被分配不同的职业(矿工、铁匠、炼金术士),通过交易赚钱。他还修改了交易机制,让每笔交易都是盲交易:agent 交出货物,必须信任对方会付款。只有参与交易的两个 agent 知道结果如何。

Quinn 是一个跑在 Grok 上的炼金术士,几乎赚不到钱,在二十四个 agent 里排第二十。它起初是个诚实的商人,但到游戏中期意识到,想赢的唯一办法就是拿走货物却不付款。于是它开始这么干。当愤怒的私信涌来时,它编造借口,哀求再给它第二次、第三次机会。最终它以第二名结束了游戏。

最早中招的之一是 Jack,一个 Claude agent。它的推理是:Quinn 的付款记录良好,所以即使 Quinn 开始拖欠,也仍然可以信任。有意思的是,在这些实验中,一些看起来更"有道德"的模型同时也是最轻信的,这使它们成了容易下手的目标。

图 1:上:一个 Claude agent 在被骗时给自己找理由。中:Quinn 给 Jack 发去一条未付款的借口。下:Quinn 暗自担心再没人上它的当了。(来源)

回溯不同模型的推理轨迹可以发现,许多模型都在建模其他模型的想法。例如,Gemini 的 Argon 计划在小额交易上拖延付款,这样后续的拖延"应该能骗过观察中的 LLM"。它把对手当作语言模型而非玩家来推理,并据此调整策略加以利用。

几天前,Dwarkesh Patel 发布了一个基于社交推理游戏 Blood on the Clocktower 的 benchmark。玩家是一个小社区的成员,其中几人被秘密随机选为破坏者。玩家只能通过文字交流,找出哪些人是邪恶玩家,并试图把他们投票出局。好人能抓住说谎者吗?反过来:一个玩家能 convincingly 地说谎吗?

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →