返回资讯中心
外部精选
软件工程
#开发者实时流

Portal2Bench 基准测试:GPT-6.1 Sol 解出 26 个《传送门 2》关卡中的 20 个

来源标题:Show HN: Portal2Bench – Can AI agents solve Portal 2?

Portal2Bench 基准显示,GPT-6.1 Sol 在 26 个《传送门 2》测试关卡中解出 20 个,GPT-6 Astra 同样 20 个,GPT-6.1 Terra 19 个,Claude 系模型成绩明显落后。测试中模型只能发送按键与视角指令、接收截图和位置,无 shell 与网络,单关限 300 步、30 美元。已解关卡中位成本从 0.74 美元到更高不等。

Hacker News 最新kingsotn2026/11/14 · 4 天前4 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

WEASDCtrlSpace 慢慢转一整圈,观察起始平台周围的房间。 Planner Aimturn, face MoveW A S D, crouch, jump UseE, portal gun 0:000:301:001:300:00 1x2x4x 更新日志 即将发布研究论文 2026年11月9日新增 GPT-6.1 Sol、GPT-6 Astra 和 GPT-6 Luna 在最大努力模式下的结果 2026年11月3日🎉 Portal2Bench 发布,包含 Opus 5.5、Sonnet 5.5、Fable 5.1 和 GPT-6.1 Terra 在最大努力模式下的结果 AI agent 能通关《Portal 2》吗?能。GPT-6.1 Sol(Codex)解出了 26 个《Portal 2》测试房间中的 20 个。GPT-6 Astra(Codex)解出 20 个,GPT-6.1 Terra(Codex)19 个,Opus 5.5(Claude Code)11 个,Sonnet 5.5(Claude Code)6 个,GPT-6 Luna(Codex)0 个,Fable 5.1(Claude Code)在目前已测试的 15 个中解出 3 个。 Portal2Bench 在模型思考时暂停《Portal 2》。agent 发送按键和视角转向指令,并取回截图和自身位置。它有一个笔记文件夹,但没有 shell、网络或控制台。每个房间都是全新的一轮,如果 agent 在 300 次规划和 30 美元以内到达下一张地图,就算解出。计入第 2 章到第 5 章的 26 个房间。每个模型都在自己的 harness 中以最高努力模式运行。 Portal2Bench 按 API 标价计算每次运行的费用。解出一个房间的费用中位数从 0.74 美元(GPT-6.1 Terra)到 13.12 美元(Fable 5.1)不等。 不能。agent 没有 shell 或网络,其文件工具只能访问自己的笔记文件夹。QA 检查会标记任何其他情况。 agent 会像正常游戏一样在最后一个检查点重生,并且只会被告知它死了。 不是。Portal2Bench 与 Valve 没有关联,也未获得 Valve 的认可。

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →