
GPT-6 Astra 与 Claude Opus 5.5 在简单 2D 迷宫中大面积失败
来源标题:Why Do Astra and Opus 5.5 Fail Simple 2D Mazes?
Manifold Research Group 用同一套 50 个交互式 2D MiniGrid 迷宫测试 GPT-6 Astra 和 Claude Opus 5.5,结果显示前沿模型在简单迷宫任务上仍然表现不佳。此前的同类测试中,Claude Opus 4.8、Kimi K2.6 和 Qwen 3.6-27B 在 150 个回合中仅解出 6 个,50 个迷宫中有 45 个从未被任何模型解开。本次复测沿用相同协议,重点考察新模型的长程动作与因果推理能力。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
Pranav Guruprasad1, 2, Sean Rivera2, Helen Lu2, 4, Arushi Jain2, Harshvardhan Sikka1, 2, 3 1Fig; 2Manifold Research Group; 3Georgia Institute of Technology; 4Tufts University. 0:00 /0:20 1×
几周前,我们发布了 MultiNet v2.0 的早期预览版,在其中用 50 个交互式 2D MiniGrid 迷宫评估了 Claude Opus 4.8、Kimi K2.6 和 Qwen 3.6-27B。这些模型在 150 个回合中只解出了 6 个,50 个迷宫中有 45 个没有任何模型解出。基于这次评估运行,我们报告了三项主要发现:
此后,GPT-6 Astra 和 Claude Opus 5.5 等新一代前沿模型相继发布,并在各类环境和领域展现出显著的能力跃升。为了评估它们的长程动作与因果推理能力,尤其是与上一代前沿模型相比的表现,我们在相同的 50 个迷宫上以相同协议运行了这两个模型。通过这次后续评估运行,我们主要想弄清楚:此前的三项主要发现中,哪些在前沿模型上依然成立。
我们评估了 GPT-6 Astra 和 Claude Opus 5.5,两个模型均以 xhigh 思考等级运行,输出 token 上限为 64k,与此前评估设置中模型所遵循的上限一致。
评估集与先前评估工作使用的是同样的 50 个迷宫:11 个 8x8 网格迷宫、19 个 10x10 网格迷宫和 20 个 14x14 网格迷宫。其中 35 个迷宫包含开关-闸门机制,15 个不包含。迷宫集的构建与验证方式在我们之前的技术报告中有详细描述。
本次运行的评估协议与先前工作保持完全一致,该协议是基于在各种协议设置下进行的一次 540 回合的广泛消融运行最终确定的:
与物体和机制交互的规则同样未作说明。钥匙通过站到其上拾取,开关通过站到其上切换以打开对应的闸门。门从它正前方的格子切换,闸门只能通过其开关打开。我们的环境规则与标准 MiniGrid 设置的一个主要区别是:在我们的设置中,物体通过站到与其相同的格子上来拾取,而非默认 MiniGrid 中的相邻格子。
解出指智能体到达给定迷宫的目标格。动作进度定义为:
其中 dclosest 是智能体离目标最近时的距离,dstart 是起点距离,二者均以仍需执行的动作数计算,包括清除任何上锁的门或关闭的闸门所需的动作。0 分表示模型在给定迷宫中没有任何进展,1 分表示成功运行。停滞终止指回合被停滞看门狗终止。
与先前评估运行设置相比唯一的区别:
如表 1 所示,Astra 解出了 50 个迷宫中的 11 个,Opus 5.5 解出了 7 个,而先前评估运行中表现最好的模型 Opus 4.8 解出了 4 个。所有前沿模型的解出都发生在无开关迷宫中:Astra 解出了 15 个无开关迷宫中的 11 个,Opus 5.5 解出了 7 个,而两者在 35 个带开关迷宫上均为 0。
解出Claude Opus 4.8解出 4 个Kimi K2.6解出 1 个Qwen 3.6-27B解出 1 个GPT-6 Astra解出 11 个Claude Opus 5.5解出 7 个开关网格23272942445361798595106路径以动作计的最短路径,迷宫按从易到难排序带开关迷宫(50 个中的 35 个)8×8 网格10×1014×14
每个迷宫上的动作进度每个回合在最近点所缩小的起点到目标动作距离占比。迷宫按最短路径长度从易到难排列;星号表示解出。每个迷宫上的动作进度动作进度0%5%10%20%40%解出ClaudeOpus 4.8解出 4 个KimiK2.6解出 1 个Qwen3.6-27B解出 1 个GPT-6Astra解出 11 个ClaudeOpus 5.5解出 7 个路径网格开关23272942445361798595106行:迷宫按从易(上)到难(下)排序;路径 = 以动作计的最短路径,每第 5 个迷宫显示一次。带开关迷宫(50 个中的 35 个)8×8 网格10×1014×14
图 2:每个模型在每个迷宫上取得的动作进度。每一行是一个模型,每一列是一个迷宫,迷宫按最短路径长度从易到难排序。星号表示解出,下方的条带标出 35 个带开关迷宫和网格尺寸。
在这次使用前沿模型的评估运行中,最大网格尺寸的迷宫出现了多次解出,这与我们之前的评估运行不同。Astra 解出了三个需要 77 到 85 个动作的 14x14 迷宫,Opus 5.5 解出了四个需要 77 到 89 个动作的迷宫,而先前运行中的模型在该网格尺寸下的 60 个回合中解出 0 个。Astra 的解出中有六个、Opus 5.5 的解出中有五个发生在先前运行中没有任何模型解出的迷宫上。这两个前沿模型解出的迷宫大体相同。两者合计解出 12 个不同的迷宫:6 个由两者共同解出,5 个仅由 Astra 解出,1 个仅由 Opus 5.5 解出,即图 3 中那条需要 89 个动作的 14x14 走廊。
想了解你的模型在 MultiNet 2.0 预览版上的表现吗?
两个前沿模型的每一次失败都是停滞终止。Astra 的全部 39 次失败和 Opus 5.5 的全部 43 次失败都以停滞看门狗结束(图 4)。与先前评估运行中的模型相比,前沿模型在回合中停滞得也更晚。Opus 4.8 在其 46 次失败中有 28 次在探索了 4 个或更少的格子后就停滞,Kimi 和 Qwen 各在其 49 次失败中有 10 次如此,而 Astra 在其 39 次失败中只有 1 次、Opus 5.5 在其 43 次失败中只有 3 次。
解出步数上限:最优动作数的 3 倍Claude Opus 4.8解出 4 个,停滞 46 次0100200300Kimi K2.6解出 1 个,停滞 47 次,2 次达到步数上限0100200300Qwen 3.6-27B解出 1 个,停滞 46 次,3 次达到步数上限0100200300GPT-6 Astra解出 11 个,停滞 39 次0100200300Claude Opus 5.5解出 7 个,停滞 43 次0100200300开关网格23272942445361798595106路径以动作计的最短路径,迷宫按从易到难排序带开关迷宫(50 个中的 35 个)8×8 网格10×1014×14
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。