开发者花1000美元让多个大模型打宝可梦对战锦标赛

我用1000美元让LLM打竞技宝可梦

Jamie Dborin 创始人兼技术团队成员，Doubleword

目录 竞技宝可梦简介为什么宝可梦对LLM研究很有意思 结果Opus 5.5 High对阵Astra High 分析每局成本与表现 多思考有帮助吗？ 模型能预测对手吗？ 牺牲意愿 强化学习时间？

小时候我很喜欢宝可梦（现在依然喜欢）。要是有人告诉你我小时候玩《宝可梦 绿宝石》花了多少小时，我大概会相当难为情。作为一家推理公司的联合创始人，我每天也在和LLM打交道。我觉得挺可惜的是，我每天打交道的这些LLM从来没有休息日，在漫长的一天结束后也没有任何放松的方式。为了解决这个问题，我让10个LLM打了一轮循环赛制的宝可梦锦标赛。

为此，我们使用了由出色的Pokémon Showdown项目构建和维护的对战引擎。这是对复杂宝可梦对战引擎的复刻，你可以克隆并自行托管。他们还构建了很棒的可视化工具，本文中的对战渲染就用到了这些工具。我们在本地托管该引擎，并在其外面包了一个轻量级CLI，模型通过它来进行对战。

参赛阵容包括：GPT-6 Astra的中等和高强度、GPT-6.1 Terra高强度、Claude Opus 5.5的中等和高强度、Claude Sonnet 5.5高强度，以及四个开放权重模型：Kimi K3.1 Pro、DeepSeek V4.1 Flash、GLM 5.3和Qwen 3.8 27B。OpenAI模型运行在Codex中，Anthropic模型运行在Claude Code中，开放权重模型运行在OpenCode中。开放权重模型全部托管在Doubleword平台上。

GPT-6 Astra High获胜，90局中赢下75局。Qwen 3.8 27B排名垫底。更有意思的结果来自阅读对局。我们对模型做出的全部26,220个决策进行了分类，挑出模型对对手做出具体预测的那些决策，并将这些预测与对手的实际行动进行核对。模型在预测同厂商的对手时表现更好，而这种优势并不能用这些模型更强来解释。较弱的模型牺牲宝可梦的频率远高于较强的模型，但在每个家族内部，较强的模型牺牲得更多。

单打对战是六只宝可梦对六只宝可梦。每方同时只有一只宝可梦在场。每个回合，双方同时选择行动：当前在场宝可梦四个招式之一，或替换为后备宝可梦。随后回合同时结算双方行动，按招式优先级、再按速度排序。先失去全部六只宝可梦的一方落败。

我们使用Pokémon Showdown上最流行的赛制：随机对战。在随机对战中，每位玩家获得一支随机的宝可梦队伍，每只宝可梦单独来看都合理，等级经过调整，使较弱的宝可梦不至于毫无胜算。你可以完整看到自己的队伍，而对手的宝可梦只有在其上场后才会显露。其招式、道具和特性会在使用时揭示。竞技宝可梦通常还涉及组建一支好队伍，这本身就是一项技能，但这个赛制隔离出了对战能力。

这段描述掩盖了单个局面中有多少内容在同时发生。下面的卡片梳理了其中一部分。

这是一个不完全信息博弈。在国际象棋中，你能看到整个棋盘，且对手在你之后行动。在宝可梦中，你不知道对手其余的队伍、他们的宝可梦携带了什么道具、拥有哪些招式，而且你在做出自己的决定之前永远看不到对手的行动。状态根据联合行动推进。一次在你对手攻击时堪称绝妙的替换，如果他们选择强化，就可能变成灾难。

随机性是内置的。每一次伤害命中都会在0.85到1.00之间掷出一个倍率，有1/24的概率打出会心一击，许多招式可能miss，而麻痹或混乱等状态会随机夺走回合。好的打法关乎概率分布，而非单一结果。连队伍都是随机的，所以模型可能输给更好的抽签。

大量先验知识是默认具备的。每个观察会向模型完整给出自己的队伍（种族值、招式、道具和特性）、每个合法招式的属性、威力和命中率，以及对手已揭示的一切。它不会解释规则。18属性相克表、数百个特性和道具的作用、某只宝可梦通常携带什么配置，以及天气、场地和场地危害如何相互作用，都必须来自预训练。一个忘记“飘浮”特性会让宝可梦免疫地面招式的模型，会白白浪费回合。

最优打法需要心智理论。只分析自己的局面是不够的。你必须建模对手认为你会做什么，以及他们因此可能做什么。如果他们预计你会替换，他们可能会攻击换上来的宝可梦。如果他们已看到你三次避开某个招式，他们可能就不再忌惮它。

下面的对局清楚地展示了这种差别。在第5回合，Sonnet 5.5 High换上Honchkrow，用突袭收掉Astra Medium已被削弱的Hawlucha。这个招式只有在对手点击攻击招式时才有效，而不是变化招式或其他非伤害招式。Astra预测对手会点击攻击，于是改用剑舞，因此突袭失败。接着Astra使用再来一次，将Honchkrow锁死在突袭上，并在接下来六个回合里强化到满攻击，而每一次突袭都依次落空。Sonnet在第11回合的推理是“面对更快的+6对手，突袭没有风险”。Astra以6–0获胜。

排名分成三个层级。两种配置的Astra都明显领先：Astra High以1797 Elo位居第一，Astra Medium以1750紧随其后，两者对阵其余八个模型的合计战绩为136–24。然后是一个拥挤的中间层，区间大量重叠，从Terra High的1611，到Opus 5.5 High的1575、Opus 5.5 Medium的1540、Kimi K3.1 Pro的1505和DeepSeek V4.1 Flash的1469。垫底的是Sonnet 5.5 High的1368、GLM 5.3的1239和Qwen 3.8 27B的1145，90局中仅赢11局。

（原文较长，此处译出前 6000 字，完整内容请点「打开原文」。）