研究让16个LLM挑战《SpaceChem》，玩家随后优化了模型方案

Zachtronics 于 2011 年发行的《SpaceChem》是一款解谜游戏，玩家要搭建化工厂，把原始输入分子转化为目标化合物。在每个 10×8 的反应器里，你需要为两个移动抓取器（称为 waldo，一红一蓝）铺设循环轨道并下达指令，让它们拾取原子、打断和形成化学键，并把成品分子送到输出端。它被广泛认为是史上最难解谜游戏之一：两个 waldo 和它们搬运的分子共用同一张狭窄网格，一次时机错误的转向或一次幅度过大的旋转就会引发碰撞，而后面的关卡会把多个反应器串联起来，任何一个瓶颈都会卡住整条流水线。为了检验 LLM 处理这类二维空间与时机推理的能力，我们通过文本界面把全部 55 个非 Boss 谜题交给了 16 个模型，并隐瞒了 15 年的社区存档，要求它们持续优化。

几天之内，玩家就接手了模型的反应器并加以改进。

游戏从三个维度给可行解打分：cycles（循环数）、reactors（反应器数）和 symbols（符号数），分别对应运行时长、使用的反应器数量、放置的箭头与指令数量。分数越低越好，但这三项彼此制约。更快的机器通常需要更多符号，所以每个谜题都有一条权衡前沿，而不是唯一最优解。多年来，玩家一直在公开的社区存档上交换解法。

发现这些技巧本身就是乐趣的一大来源，而本文会剧透。如果你觉得这游戏有意思，请先去玩：

我们运行了 16 个 LLM，涵盖领先的前沿模型和开放权重模型。每个模型都对主线战役、63 个 Corvi 扩展关卡以及三个 Team Fortress 2 关卡中的所有非 Boss 谜题各尝试一次计分作答（pass@1），每个谜题限时 10 到 60 分钟，视难度而定。其中 37 个谜题在单个固定反应器内完成。另外 18 个（SpaceChem 的生产关卡）要求模型在地形图上于储罐和反应器之间铺设管道，从零反应器的管道教学关一直到六反应器的化工厂。

所谓解，是指在三项分数上没有任何社区解法能同时追平或超越的方案。例如，它可以用更多符号换取更快的运行速度。我们在提交任何内容之前，于 2026 年 10 月 18 日冻结了社区存档，并且只有在解法能在全新游戏中重放并通过社区的预知检查（见下文）时，才计入得分。

与社区纪录的平均接近度 · 100 表示与存档持平 全部 55 个谜题 · 37 个单反应器 / 18 个多反应器 · 19 简单 / 18 中等 / 18 困难 横向滚动以比较所有模型 →

GPT-6 Astra 在所有 Pareto 感知指标上领先：纪录接近度 74.3、总分 67.8、3D 超体积 69.7、前沿覆盖率 57.4，解出 55 个谜题中的 54 个，仅未解出 Ω-Pseudoethyneorganic_5，而这个谜题没有任何模型解出。纪录接近度把模型最佳的 cycles、reactor 和 symbol 分数与社区纪录比较（100 表示持平），即使这三项来自不同解法；总分沿用 Opus Magnum Bench 的做法，比较的是 cycles + reactors + symbols 合计最低的单个解法；3D 超体积衡量模型的前沿覆盖了社区 Pareto 前沿被支配体积的多大比例。GPT-6.1 Sol 在三项上均列第二（接近度 69.7、总分 62.4、超体积 63.2、解出 52 个），领先于 Opus 5.5（66.2、60.9、61.8、解出 48 个）。在前沿突破方面，Gemini 4 Argon 与 GPT-6 Astra 并列第一，在 5 个谜题上贡献了 7 个新前沿点（按模型对冻结存档逐一评估；把所有模型合并计算则得到 20 个非支配点），尽管它因在 18 个多反应器谜题中失手 8 个而总排名第四（接近度 65.2、解出 46 个）。

与 TIS-100 Bench 相比——同样的 16 个模型在那里解出了 82% 的回合（880 个中的 724 个）、发现 133 个新前沿点，Opus 5.5 与 GPT-6 Astra 并列 55/55 全部解出——SpaceChem 把总体解出率拉低到 56%（880 个中的 495 个）。多反应器谜题是这一下滑的主因：单反应器回合通过率 68%（592 个中的 404 个），而多反应器回合仅 32%（288 个中的 91 个），尽管多反应器谜题在简单、中等、困难三档中分布均匀。Fable 5.1 在 TIS-100 Bench 中解出 55 个中的 52 个，在这里解出 37 个单反应器谜题中的 32 个，但只解出 18 个多反应器谜题中的 4 个。

计数以 55 个谜题为分母。括号内为点数，按模型对冻结存档逐一评估（共 28 个模型点，跨模型合并后为 20 个非支配点）。方法

RL 环境与轨迹可应研究团队要求提供。请联系 ↗

SpaceChem 没有可供键入的文本格式。玩家用鼠标把箭头和指令拖到网格上。我们在虚拟显示器上运行未经修改的 Linux 版游戏，转而给模型提供文本工具。模型的编辑会直接写入游戏的存档文件，本文中的每个分数都来自真实游戏。

为什么要检查预知？有十四个谜题会随机抽取部分输入，但游戏始终使用同一个种子。一个解法可以通过假定自己将看到的序列来通过，而不是去感知每个原子，社区不接受这种做法。每次通过运行后，我们都会执行 SChem 的预知检查，即在其他种子上重放解法，并把失败结果告诉模型。它在 7,497 次通过运行中标记出一次：在 The Blue Danuberesearch_1 上，Gemini 4 Argon 的 191 cycles 解法在游戏中通过了，但在其他种子上的 312 次运行中只有 40 次成功。Gemini 4 Argon 的最佳干净解法停留在 219 cycles。

通过只是起点：模型会持续编辑和运行，直到 10 到 60 分钟的时钟耗尽，用符号换 cycles，或在重写崩溃时用 get_best 恢复较早的检查点。以 No Employment Record Foundresearch_6 为例，Sonnet 5.5 在开始两分钟后的首个通过反应器耗时 1,113 cycles；二十分钟后达到 465 cycles，最终定格在 464/1/23 和 504/1/22（下文将详细审视）。

（原文较长，此处译出前 6000 字，完整内容请点「打开原文」。）