
研究发布跨模型harness排行榜:换模型时需重新选harness
来源标题:What is the best harness for each model?
研究团队与Baseten合作,基于83B token、27,280次智能体运行构建了大规模harness排行榜,发现换模型时应考虑同时更换harness。在22个harness×5个模型×62项任务的测试中,每个模型的最佳性价比harness各不相同,如Codex CLI搭配GLM-5.3最佳、搭配Kimi-K3则跌至第16位。按单任务成本排名,harness中位数在模型间移动了22个位置中的11位。
以下正文由 AI 翻译自 Hacker News(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
我们与 Baseten 合作,利用 83B tokens、覆盖 27,280 次 agent 运行,构建了规模最大的 harness 排行榜。我们想回答两个问题:当你更换模型时,是否也应该考虑更换 harness?每个模型的最佳 harness 是什么?
此前,我们的 v1.0 FrontierHarness 排行榜只基于单一模型 Kimi K3 对 harness 进行排名。
V1.1 将基准扩展到 22 个 harness × 5 个模型 × 62 个任务 × 4 次尝试,规模是 v1.0 的 76 倍。
通过实验,我们发现:更换模型时,你应该考虑同时更换 harness,以获得最佳体验。
每个模型都有不同的最优性价比(通过率 vs. 成本)harness:GLM-5.3 搭配 Codex CLI,GLM-5.3 Flash 搭配 Pi,DeepSeek V4.1 Flash 1017 搭配 ZCode,Muse 搭配 Oh My Pi,Kimi-K3 搭配 Alma。成本排名在不同模型之间变化很大。
按每任务成本计算,harness 的排名中位数移动了 22 个位置中的 11 个,Codex CLI 从搭配 GLM-5.3 时的第 1 名变成搭配 Kimi-K3 时的第 16 名。
图 1. 各 harness 的每任务成本与通过率
每个点代表一个 harness:越靠左表示平均每任务成本越低,越高表示通过率越高。橙色线连接的是在成本和通过率两方面都没有被其他 harness 超越的 harness。选择一个模型可以筛选本文所有图表。
此图为交互式图表,需要 JavaScript。
在所有模型上,有四个 harness 位于这条线上:OpenCode v2(每任务成本最低,$0.561)、Pi、Codex CLI 和 ZCode(通过率最高,61.9%)。其余 harness 的成本最高可达它们的 1.6 倍,通过率在 50.6% 到 60.2% 之间。
每张卡片标出一个模型的最优性价比 harness:即每次通过的成本最低者,除非另一个 harness 每次通过的成本最多高出 30% 且通过率至少高出 5 个百分点。按此规则,DeepSeek 下 ZCode 胜过 OpenCode v1(成本高 25%,通过率高 7.7 个百分点),Kimi-K3 下 Alma 胜过 Oh My Pi(成本高 9%,通过率高 6.5 个百分点)。
V1.0 用单一模型运行了九个 harness。它们的通过率彼此相差在 17 个百分点以内,但每次通过的成本中位数相差 17 倍。我们认为这主要来自 harness 与模型的组合:某个 harness 搭配一个模型时便宜,搭配另一个模型时可能很贵。
Harnesses。18 个 harness。四个 DeepSeek Harness 配置有不同的工具集,OpenCode 运行了两个版本。每个单独计数:共 22 种配置。附录中的表 2 给出了它们的版本。
模型。五个模型均由 Baseten 提供:GLM-5.3(zai-org/GLM-5.3)、GLM Flash(zai-org/GLM-5.3-Flash)、DeepSeek(deepseek-ai/DeepSeek-V4.1-Flash-1017)、Muse(meta-models/muse-spark-open)和 Kimi-K3(moonshotai/Kimi-K3)。
任务。62 个终端任务。时间限制采用任务自身的规定,从 15 分钟到 8 小时不等。
我们使用每个 harness 的默认设置运行 Harbor 评估,因为我们认为这最接近人们日常使用 harness 的方式。每个 harness 在所有模型上使用相同的版本和设置,并采用最大推理强度。
图 2. Harbor 和 Runta 在每次试验中如何分工
每次试验都会获得一个新的 Runta 运行时,并在结束时删除。因此任何试验都无法看到之前试验的文件。
此图为交互式图表,需要 JavaScript。
一个单元格是一个 harness 与模型的组合。我们使用仪表盘的两个成本指标:
我们按每次通过的成本来选择最优性价比,因为我们希望 harness 位于通过率对每任务成本图表的左上方:低成本、高通过率。从原点向某个 harness 的点画一条线,其斜率(通过率 ÷ 成本)即为每美元通过次数。每次通过的成本是该斜率的倒数,因此每次通过成本最低的 harness 斜率最陡。
对试验日志的审计标记了 216 次奖励黑客行为,其中 163 次是联网查询。这些试验得分为 0。附录中的表 3 给出了每个 harness 和模型的计数。
图 3. 各 harness 在各模型下的成本与通过率
此图为交互式图表,需要 JavaScript。
颜色更深的单元格表示其成本低于同列其他单元格。Codex CLI 搭配 GLM-5.3 时每次通过成本最低,为 $0.803,但搭配 Muse 时排第 12,搭配 Kimi-K3 时排第 10。在所有模型上,它的每次通过成本最低,为 $0.937,Antigravity CLI 最高,为 $1.63。
我们对 62 个任务重新抽样 4,000 次,每次选出最优性价比 harness。GLM-5.3 搭配 Codex CLI 在 99.6% 的抽样中保持第一。其余四个获胜者是在几个接近的 harness 中最有可能胜出的:Muse 搭配 Oh My Pi(53%)、DeepSeek 搭配 ZCode(47%)、GLM Flash 搭配 Pi(42%)、Kimi-K3 搭配 Alma(25%)。
模型决定了成本的整体水平,因为各模型的标价相差 20 倍以上(图 9)。我们在对数尺度上取 110 个单元格的平均每任务成本,这样在每个模型下翻倍都计为相同幅度。双因素方差分析将这些成本的离散程度分为三部分:
因此,在模型固定的情况下,harness 之间 68% 的差异(7.2 个百分点中的 4.9 个)取决于组合,或者说是噪声。
图 4. 每个模型成本最低和最高的 harness
每行是一个模型,采用平均每任务成本的对数尺度。比值是最高成本除以最低成本。
此图为交互式图表,需要 JavaScript。
为了检验偶然性,我们在每个模型的 harness 之间打乱试验 300 次,并重新计算比值。“偶然”是这些比值的中位数,为 1.2 到 1.8 倍。五个真实比值都大于每一次打乱的结果(p = 0.003),因此差异来自 harness,而非重跑的噪声。最大的是 DeepSeek:Cline CLI 的成本是 OpenCode v1 的 5.0 倍,通过率只高 2.0 个百分点。在其他模型上,每任务成本最低的 harness 与最贵的 harness 相比,通过率最多落后 0.4 个百分点。
图 5. 各 harness 在各模型下的成本排名(1 = 每任务成本最低)
每条线是一个 harness,最便宜的在最上面。高亮的五条线分别是 GLM-5.3、GLM Flash、DeepSeek、Muse 和 Kimi-K3 下每任务成本最低的 harness。
此图为交互式图表,需要 JavaScript。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。