开发者用《蔚蓝》经典版测试大模型实时控制能力,结果远逊人类
来源标题:Language Models Suck at Real-Time Control
开发者构建CelesteBench基准,让大模型在5分钟内玩《蔚蓝》经典版并尽可能多通关房间,结果显示所有模型表现都远差于人类。最佳成绩来自GPT-6 Astra(low),仅得5.17%,而人类平均分更高。作者认为当前大模型在机器人任务上相比人类仍很糟糕,例如多数模型花约3分钟才能叠好3个碗。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
简而言之:我想用 Celeste Classic 来测量 LLM 的实时控制(RTC)能力,结果证实,目前它们在这方面的表现和人类相比全都非常糟糕。CelesteBench 就是为了展示它们在这个狭窄领域里的能力欠缺而搭建的。你可以在 CelesteBench 网站上(链接见下),在与 LLM 完全相同的条件下给自己做基准测试,你的成绩很可能会比它们都更接近 SOTA!
CelesteBench 网站 · 玩 Celeste Classic 并获取你的分数(仅限桌面端) · GitHub 仓库
如今,就语言模型而言,LLM 在机器人领域似乎相当不错。我同意,但我认为我们对它们的期望还不够高!它们的能力远不止于此,而且会进步得非常快(参见编程领域,就是这种现象的例子)。
但就目前而言,与人类相比,它们在机器人任务上表现得非常糟糕……例如,大多数 LLM 需要大约 3 分钟才能堆叠 3 个碗!
所以,我搭建了 CelesteBench,以便低成本地亲自测量这一点(机器人太贵了)。在这个基准测试中,模型必须玩 Celeste Classic 游戏,并在 5 分钟内尽可能多地通关房间。
上面的视频是我录制的最佳表现。它由 GPT-6 Astra(low)完成,得分为 5.17%。作为参考,在相同的时间预算下,新手的平均人类得分约为 10%。
以下是部分模型在实时模式下所有运行中的得分。完整的排行榜,包含每种配置和回放,都在 CelesteBench 网站上。
我们根据模型在游戏中的进度来评分。更多细节见“Setup”部分。
最佳 5.17%Claude Opus 5.5 · low1.07% $6.81Claude Sonnet 5.5 · low1.07% $4.15GPT-6 Sol · low1.07% $0.71GPT-6 Luna · low1.07% $0.04DeepSeek V4.1 Flash · low1.07% $0.03Muse Spark 1.3(Contributor 档) · low1.07% 低于 $0.01Claude Haiku 5.5 · low0.53% $0.17GLM 5.3 Flash · low0.53% $0.03Grok 4.6 · low0.53% $0.270%5%10%
每个模型在 300 秒预算内最佳配置的平均 RTC 得分。
在 RTC 模式下,只有两个模型通关了第一个房间:GPT-6.1 Sol,在一次 medium 思考级别的运行中(low 和 high 都卡在 1.07%),以及 GPT-6 Astra,4 次运行中成功 1 次。大多数人类玩家不到一分钟就能通关。即使 Astra 成功了,它平均也会浪费约 2 分钟(当然,是在成功的运行中)。
其他所有模型都卡在第一个房间。这包括开源权重模型 Grok 和 Muse Spark,也包括前沿模型:Claude Opus 5.5 的得分与 DeepSeek V4.1 Flash 完全相同,成本却大约是后者的 260 倍。
相同得分(1.07%),约 260 倍成本Muse Spark †DeepSeek · $0.03GPT-6 LunaGLM 5.3Haiku 5.5Grok 4.6GPT-6.1 Sol · 3.33%GPT-6 SolGPT-6 Astra(平均)Sonnet 5.5Opus 5.5 · $6.81
每次 RTC 运行的成本(对数刻度)与得分的关系。†:Muse Spark 使用的是 Contributor 档定价。
Harness 有影响吗?
这张图混合了不同的 harness:GPT 模型通过 Codex 运行,Claude 模型通过 Claude Code 运行,其他模型通过 CelesteBench harness 运行(更多内容见附录)。Mistral Large 4 是我唯一在相同思考级别(medium)下,既通过外部 harness Mistral Vibe 又通过我们的 harness 运行过的模型。两次运行最终得分相同,都卡在第一个房间:
我认为 Mistral Vibe 让它更贵、更慢,因为(1)模型必须编写 typescript 脚本来使用工具,(2)它们可能不像我们这样丢帧。所以,是的,harness 很重要。
如果延迟是瓶颈,那么在模型思考时停止计时应该会有帮助。Lite 模式的得分出乎意料地接近 RTC,有时甚至更差:DeepSeek V4.1 Flash、Muse Spark 1.3(Contributor 档)和 GPT-5.6 Sol 在 Lite 模式下的得分都低于 RTC。GPT-6 Astra 唯一一次 Lite 运行(5.17%)与其最佳 RTC 运行持平,仅此而已。
对于几乎每个 LLM,无论前沿还是非前沿,更高的思考/推理级别(为 CoT token 提供更多预算)都会使 RTC 得分变差:
它们花更多时间思考,有时过度思考,没有足够的时间实际玩游戏。GPT-6.1 Sol 在 medium 级别是唯一的例外。
在 Lite 模式下,思考不消耗游戏时间,这种趋势基本消失(GLM 5.3 Flash 甚至在 high 级别比 low 表现更好)。所以,思考更久确实会消耗 RTC 中的实际时间。但消除这项成本也并不能带来更好的表现。瓶颈在别处。
一个有趣的现象是,一些模型通过在 Chain-of-Thought 中写出策略,表现出它们从预训练中获得了关于这款游戏的知识,但出于某种原因,它们在 RTC 甚至 Lite 模式下都无法写出好的动作批次!它们知道该做什么,却把自己搞糊涂了,或者无法推断出该怎么做。
wait 动作与直接释放所有按键是冗余的:{"action":"wait
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。