评测对比AI agent harness：成本速度成排名关键，通过率无显著差异

哪个 AI agent harness 该配前沿模型用？我们把模型（Opus 5.5 或 GPT-6.1 Sol）和任务固定，只换 harness（系统提示、工具、记忆），测通过率、每个已解任务的成本和耗时。

在这 20 个公开多用户任务上，任何一对被测 harness 的通过率都分不出高下（QM 的配对未测；7.7 到 14.2 个点的差距可能被掩盖），所以排名依据是成本和速度。成本区间有重叠的行并列同一名次。方括号内是 95% 区间。

*OpenClaw 的区间只与 Hermes Agent 重叠（$0.33 对 $0.36），所以与 Hermes 并列。它与 Claude Code 和 QM 的区间不重叠，且在 Opus 上成本点估计最高（描述性，未做检验）。

便宜又快。每个已解任务 $0.22，每次试验 40.1 秒；在另一次成本拆解运行中，相同通过率下，Opus 上每次试验比 OpenClaw 少 $0.165 [-$0.206, -$0.128]（发现）。

写在系统提示或启动文件里的规则每一轮都生效。一条“先查 gbrain”的规则，从这两处给出时 30/30 轮被遵守，从每轮钩子给出时 26/30 轮，无规则时 18/30 轮（描述性：10 个公开任务，一次重复，命令行）（发现）。

它不会自行打开技能。未提及的技能在 30 轮中被打开 0 次。在提示中加入“Use the brain-first skill.”后达到 30/30，而未提及的技能为 18，无规则为 17（描述性）（发现）。

它的记忆文本和工具建议合在一起，在困难任务上起作用。在简单任务上，去掉其记忆与技能文本使每次试验成本降低 19%（$0.033 [-$0.046, -$0.022]），通过率无可测变化。在较难任务上，将其与工具描述建议一并去掉，通过率从 60.4% 降至 0.0%（-60.4 个点 [-79.2, -39.6]）；两者是一起去掉的，所以无法把损失归因于其中之一（发现）。

配合 gbrain，一旦开启访问规则，通过率就恢复了。使用按成员访问规则时，它通过了 51 个中的 50 个（安装器）和 51 个中的 49 个（告知），而无 brain 时为 46；使用单个 bot 级 token 时为 27 和 31。相对无 brain 的提升是描述性的，所有区间都触及零，且 gbrain 的版本在两次运行之间也发生了变化（发现）。

Codex（GPT-6.1 Sol） 在 Sol 上点估计最低、速度最快（并列第 1）。每个已解任务 $0.17，每次试验 30.1 秒。在另一次成本拆解运行中，它每次试验比 Hermes 便宜 $0.023 [-$0.030, -$0.016]，并且勉强比 OpenClaw 便宜 $0.107 [-$0.270, -$0.002]（发现）。

规则放在哪里它都遵守。从每轮钩子、系统提示或启动文件给出时均为 30/30 轮，无规则时为 6/30 轮（发现）。

未提及的技能也能生效。30/30 轮（发现）。

它的身份文本在简单任务上是小幅削减。去掉它（每次请求 639 字节）使每次试验成本降低 3%（$0.004 [-$0.007, -$0.001]），通过率不变；在困难任务上未测（发现）。

配合 gbrain 和访问规则，没有越界读取。51 次试验中 0 次返回了提问者无权读取的记录；相对无 brain 的通过率提升（使用安装器时 +12 个点 [+0, +24]）是描述性的（发现）。

OpenClaw（Opus 5.5 和 GPT-6.1 Sol） 在 Opus 上成本约为两倍。每个已解任务 $0.44，其他 Opus harness 为 $0.19 到 $0.24，且最慢，每次试验 99.4 秒（描述性，未做检验）（发现）。

钱花在缓存写入上。在 Opus 上，它相对 Claude Code 的额外成本约 81% 是缓存写入：它重发大得多的系统提示和更大的工具结果。在 Sol 上，它与 Codex 的大部分差距在输出（282,492 个输出 token 对 32,226），其中每次试验 $0.036 是一条超时流按全额预留计费（发现）。

在 Sol 上，它遵守每轮规则，未提及的技能也能生效。从每轮钩子或启动文件给出时 30/30 轮（它没有系统提示设置），未提及的技能为 29/30。只给一次的规则在 10 轮重复中遵守了 4 轮（描述性；该检验只能检测 39 个点的差距）（发现）。

它的最小提示是线索，不是证明。在 Opus 上，它使每次试验成本降低 $0.023，简单任务通过率 +7.5 个点；在较难任务上重测触底，所以那里未测（发现）。

Hermes Agent（Opus 5.5 和 GPT-6.1 Sol） 在两个模型上成本均并列第 1。Opus 上每个已解任务 $0.24（64.6 秒），Sol 上 $0.19（81.5 秒）（发现）。

它在 Sol 上每次请求发送更多。每次试验多 423 kB 工具 schema，每次试验 16.7 次请求，而 Codex 为 11.6，这就是它每次试验比 Codex 贵 $0.023 的原因（发现）。

在 Sol 上，它服从钩子和系统提示，但不服从技能。两者均为 30/30 轮；未提及的技能毫无作用（4/30，与无规则相同，打开 0 次）。只给一次的规则在 10 轮重复中遵守了 2 轮（描述性；该检验只能检测 39 个点的差距）（发现）。

提示削减大多撞上安全保留项。它的 7 个削减分支中有 5 个因安全规则被保留，全部基于一个任务：Opus 在每个 harness 中都读取了提问者范围之外的内容（发现）。

QM（Pi loop，Opus 5.5） Opus 上每个已解任务成本点估计最低，并列第 1。$0.19 [$0.13, $0.28]，并列最快，40.1 秒（发现）。

每次试验比 Claude Code 便宜。Claude Code 每次试验贵 $0.041 [+$0.020, +$0.061]（发现）。

注意：QM 运行在默认 Docker bridge 上，而非内部网络。其矩阵比较未测，且它与 Claude Code 的成本运行对比没有固定网络（发现）。

gstack 和 gbrain gstack：Opus 5.5 读了 gstack 的技能，但没有照做。被要求运行 gstack 的 /investigate、/qa、/review 或 /ship 时，Opus 每次都加载了技能文本，却没有执行其中任何步骤：三次未计数的检查中，46 个 gstack 会话里 0 个执行，每次试验成本约为无 gstack 时的两倍（开发）。任务对 Opus 来说很简单（每个分支在 16 个开发任务中通过 14 个；困难检查作废），所以这说明步骤未被遵循，而非遵循它们是否有帮助。成本比是点估计，无区间（发现）。

（原文较长，此处译出前 6000 字，完整内容请点「打开原文」。）