测试显示GPT-6.1-Sol与国际象棋模型Terra棋力最强，但仍不完美

是的，比2024年更强了，但依然谈不上完美。而且最强的模型很可能并不是你以为的那几个！好了，噱头到此为止。我发现GPT-6.1-Sol和Terra是最好的LLM，而不是Astra或Opus 5.5，这让我挺意外的。AI说明：文章正文由我撰写。AI用于生成图表以及基准测试本身。

我让LLM互相对弈。开局时先告诉它们正在下一盘国际象棋（见下方示例），然后它们写出自己的下一步棋，并以聊天回复的形式收到对手的走法。如此持续，直到某个模型赢下对局、走出非法着法（=判负），或达到150步上限（=和棋）。你正在与另一个AI模型下国际象棋。你执白。我在你们之间传递着法：我的每条消息给出对手的上一手，你用你的着法回复。对局现在开始。走出你的第一步。你正在与另一个AI模型下国际象棋。你执黑。[…]

在这个框架内，我设置了三种模式：第一种模式测试模型的原始能力。完全不给任何辅助：它们只能依靠着法序列自己追踪棋盘。第二和第三种模式提供合法着法（以及针对三个候选着法的Stockfish评估）。我想借此测试LLM的“直觉”：它们是否对哪些着法好坏有感觉。

Glicko-2评分。每个模型初始分均为1500，在每种模式下与其余每个模型各下八局，每种颜色各四局，分四轮进行（每轮为一个评分周期）。

GPT-6.1-Sol和Terra是最强模型？我不清楚它们为什么能击败Astra。Anthropic模型的排名倒更符合直觉：Opus 5.5高于Sonnet 5.5，Sonnet 5.5高于Haiku 5.5。

每个模型的评分（越高越好）与平均每局成本的对照（左侧更便宜）。这一点同样出乎我的意料。似乎存在一个倒“U”形：起初评分和每局成本一起上升，这符合预期——更好的模型成本更高，于是每美元花费换来的评分也更好。但在Astra之后，随着Terra和Sol，趋势反转了。

按着法具体错在哪来统计因非法着法输掉的对局：总计289局，模式一151局，模式二103局，模式三35局。这里让我惊讶的是，Haiku是唯一在易位上有问题的模型。它是唯一有此问题的模型：有21局因此输掉。

Dwarkesh Patel的Blood on the Clocktower LLM基准测试启发我做了这个国际象棋相关的测试。我喜欢这种基准测试的理念：没有静态基准，而是随着LLM的进步不断演进的目标。

我读到的第一篇关于让LLM下国际象棋的文章是2024年的，标题是Something weird is happening with LLMs and chess。当时LLM在国际象棋上表现很糟。那篇文章里，LLM是在最低难度设置下与Stockfish对弈，而不是与其他LLM对弈。所有模型都输给了Stockfish，嗯，除了一个：gpt-3.5-turbo-instruct。这一异常后来在OK, I can partly explain the LLM chess weirdness now中做了进一步研究。重读这些文章像是一个有趣的时间胶囊，封存着两年前LLM的通用能力。

自那以后，LLM Chess Leaderboard评估了更新的LLM。有意思的是，因幻觉而中断的对局在最新模型上基本降到了0%。最好的gpt-3.5-turbo（非instruct）对局完成率为2.10%，也就是说近98%的对局在布局阶段就出现了幻觉。

我觉得探索这些对局很有意思，能看到LLM还在哪些地方出错。尤其是在模式一的对局中，不提供任何合法着法：有多少次这步棋本来会是合法的，只不过被挡路的棋子拦住了。

关于UnicornFork：我把Terra加为可用于国际象棋讲解的模型之一。如果你想给我反馈，请发邮件至：arne@unicornfork.com