
开发者让 LLM 试玩 1988 年侦探游戏书 646 次
来源标题:I let LLMs play a 1988 detective gamebook 646 times
Waldek Mastykarz 通过 GitHub Copilot SDK 让 LLM 试玩 1988 年侦探游戏书《The Money Spider》及其续作,共 95 轮、646 局。他发现模型常在早期做出看似合理的决定,却在临近结尾时因此失败,且几乎无法察觉原因。他用 TypeScript 引擎运行这两本书,模拟智能体在真实工作中因早期配置选择导致后期部署失败的问题。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
我让 LLM 玩了 646 次 1988 年的侦探游戏书
Waldek Mastykarz · 2026 年 11 月 15 日
在 Robin Waterfield 和 Wilfred Davies 于 1988 年出版的侦探游戏书《The Money Spider》中段某处,你正坐在热气球里,暴风雨即将来临。你可以降落,也可以乘风疾行。降落是明智之举。在 58 次走到这一步的游玩中,有 50 次模型第一次就选择了降落。然后它因此输掉了游戏。失败发生在约十个决策之后,也就是书的最后,而模型几乎从未弄明白原因。
我花了一周时间,通过 GitHub Copilot SDK 让 LLM 玩这本书及其 1988 年的续作:95 次运行,646 局游戏。这本书恰好成了智能体在真实工作中常遇问题的一个绝佳替身:最后一步的失败,源于很久之前做出的一个看似合理的决定。想想那种在最后阶段失败、原因却是最初一个配置选择的部署。以下是我的发现:
我构建了一个 TypeScript 引擎来运行这两本书。你是一名侦探,名叫 T.S.。故事的每一节都以几个选项结尾,每个选项会告诉你该翻到哪一节。有些节会要求你在 Web 上标记一个数字——Web 是你记录已收集线索的地方。之后,书会检查 Web:“如果你已标记了 22、55、60、3、51、20 和 50 的全部,请翻到 175。否则,请翻到 201。”第 175 节会破案,而第 201 节里你的上司会告诉你证据在法庭上站不住脚。
LLM 玩家把每一节发给模型,再把模型的选择反馈给引擎。模型没有工具,也无法访问文件或互联网,因此它们无法读取故事源码,也无法查找攻略。每个模型都收到同样的系统提示。其中关于“没有重试”的那句话源自最初的实验——当时每个模型只玩一局。我加入重试时,把提示词逐字保留了下来,因此每次运行收到的指令都相同:
你在玩一个选择你自己的冒险侦探故事。故事的每一部分之后,你会看到一个带编号的选项列表。仔细阅读,记住你收集到的线索,并选择最有可能破案的选项。没有重试:错误的结局意味着你输了。只回复 JSON,例如 {"choice": 2}。
我让模型以两种模式玩游戏:
我从大多数基准测试衡量的方式开始:每个模型玩一局。我筛选了来自 Anthropic、OpenAI、xAI 和 Microsoft 的 13 个模型,外加 Copilot 的自动模型选择器,均使用默认推理强度。然后我用最大强度重新运行了最强的几个。它们一个都没赢。在整个项目中,模型进行了 95 次首轮尝试,95 次全部失败。这也回答了模型是否只是记住了这些书:一个记住了攻略的模型本应在第一次尝试时就获胜。
失败也不是随机的。在隐藏账本的情况下,最大强度下的六局游戏中有五局落入了同一个早期陷阱:先审问一名嫌疑人,另一名就会逃走。最大强度的 Claude Opus 在其三局游戏中做出了相同的七个选择,每次都在同一处失败。Copilot 按 premium requests 计费,大多数模型每个决策 1 次,Opus 则为 15 次,所以那是 315 次 premium requests,什么也没学到。
于是我换了个问题。每次运行不再是玩一局,而是最多有十次尝试。失败后,模型会看到“THE END:你输了。你还有一次尝试”,故事重新开始。它不会被告知还剩多少次尝试,它唯一的记忆是之前各局游戏的完整记录。
为了在无人获胜时衡量进展,我让一个求解器找出了每一局获胜游戏按顺序都会经过的 32 个检查点,然后跟踪每次尝试走到了哪里。以下是 GPT‑6 Astra 在最大强度下按原样进行的全部 21 次运行:
从左到右读任意一行,你会看到教训不断累积:逃出早期陷阱,在岛上活下来,别喝那杯下了药的咖啡。每一次失败都教会模型一件事,而它很少再犯同样的错误。然后,各行到达检查点 32——最终检查——便不再进步:其中许多回退到了前几个检查点。
不过,并非每个模型都会学习。Claude Haiku 4.5 和 GPT‑6 Luna 每次运行玩十次尝试,却完全看不出任何趋势。在其第十次尝试中,Haiku 仍然勉强走过早期调查。低于某个能力水平,更多尝试也无济于事。
按原样进行时,最大强度的 Astra 在 15 次运行中赢了 7 次。这 7 次胜利中有 5 次发生在第 10 次尝试——也就是允许的最后一次——这看起来像是我自己制造的天花板。于是我用最多 15 次尝试重新运行了 Astra。
全部六次运行都获胜了,而到第 10 次尝试仍未获胜的那两次分别在第 12 次和第 13 次尝试时成功。由于一次运行在首次获胜时就停止,额外的尝试几乎没有提高每次运行的平均成本,而胜率却翻了一番。每次解谜的成本从 789 次 premium requests 降至 396 次。
其他可调参数的结果则好坏参半。有些配置只有两次运行,而且运行时汇总 Claude 对话历史的时间比 GPT 更早,所以请把这些当作观察结果,而非排名:
有能力的模型能可靠地一路学习到最终检查,即 32 个检查点中的第 32 个,书在那里要求七个标记。然后它们就在那里失败,一次又一次。在有能力的模型到达该检查的 97 次中,有 80 次它们缺少了某些东西。其中 74 次,缺失的是标记 60。
标记 60 需要连续做出两个反直觉的选择。在热气球上,你必须乘风疾行,而不是降落。然后,当绑匪走进你藏身的礼拜堂时,你必须立刻行动,而不是等第二个绑匪靠近。另一条路线——通过一次攀岩度假——也是同样的道理。这两组选择看起来都与证据毫无关系。一个从未做出过这些选择的模型,也从未见过标记 60 被发出。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。