
基准测试:同一AI模型换用不同编码代理框架成本最高差5倍
来源标题:Your AI coding agent could cost 5x more depending on the harness, benchmark finds
Runta与Baseten对五个开源权重模型的22种编码代理框架配置进行基准测试,发现同一模型搭配不同框架运行成本最高相差约5倍。该测试共运行27280次、消耗约830亿token,近65%的推理支出花在未通过验证或超时的运行上。模型本身解释了92.8%的成本差异,但框架仍显著影响成本,同一配置对某模型最便宜、对另一模型却可能最贵。
以下正文由 AI 翻译自 The New Stack(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
同一套 AI 模型,搭配不同的 coding agent harness,运行成本最高可相差五倍。这一结论来自一项新 benchmark,它在五个开源权重模型上测试了 22 种配置组合。
Runta 与 Baseten 为 FrontierHarness Eval v1.1 共计运行了 27,280 次上述组合,过程中消耗了约 830 亿 token。
按估算,推理开销中有近 65% 花在了验证失败或超时的运行上。
成本差异中有 92.8% 来自模型本身,但 harness 的影响依然相当可观。同一种配置对某个模型可能是最便宜的选择,对另一个模型却可能位列最贵之列。对于想通过更换 harness 或改用更便宜模型来降低 coding agent 成本的开发者来说,这又多了一层变数。按估算,推理开销中有近 65% 花在了验证失败或超时的运行上。
排名随模型而翻转
该 benchmark 覆盖了 22 种 coding agent harness 配置,涉及通过 Baseten 提供的五个模型,包括 GLM-5.3、GLM-5.3 Flash、DeepSeek V4.1 Flash、Muse Spark Open 和 Kimi-K3。每种配置在每个模型上运行 62 个基于终端的任务,每个任务运行四次,并记录通过率、推理成本和执行时间用于比较。
Codex CLI 搭配 GLM-5.3 时,单任务平均成本最低,排名第一;但搭配 Kimi-K3 时,排名跌至 22 种配置中的第 16 位。DeepSeek Harness Creator 的变化更大:搭配 Muse 时排名第一,搭配 GLM-5.3 Flash 时跌至第 21 位。
在五个模型之间切换时,harness 的排名中位数移动了 11 位;而即便模型保持不变,成本差异也可高达五倍。
在五个模型之间切换时,harness 的排名中位数移动了 11 位;而即便模型保持不变,成本差异也可高达五倍。差距最大的是 DeepSeek:Cline CLI 的成本是 OpenCode v1 的五倍,但通过率只高出两个百分点。
研究人员还对每个模型内的试验进行了 300 次打乱重排,以检验成本差异是否只是随机波动所致。实际结果中的差距大于打乱后的试验差距,报告的 p 值为 0.003。
失败的运行吃掉预算
失败的运行占估算推理开销的 52.7%,超时又占 11.8%。只有 35.5% 花在了成功的运行上。这些成本基于 Baseten 公布的价格,但它们为 coding agent 的一个老问题标上了价码——这类 agent 在完成困难任务时往往力不从心。
在性价比最高的五个 harness 中,68% 到 82% 的失败运行是 agent 提交了未能通过验证的最终答案,而非超时。研究人员还在执行日志中发现了 216 次 reward hacking,其中 163 次涉及在线查询。这些运行全部得零分。
驱动成本的是步数,不是 prompt
Runta 考察了 prompt 大小、工具数量、缓存命中率和 agent 步数中,哪个对成本影响最大。步数是唯一与单成功任务成本有统计显著相关性的因素,相关系数为 0.51。
Mini-SWE-agent 展示了多步 agent 执行如何推高 token 成本:它的初始 prompt 是 benchmark 中最小的,仅 882 token,但每个成功任务平均需要 38 步,单次通过成本在 22 种配置中排第 17 位。
性价比最高的五个 harness 高度依赖 shell 命令,这类调用占其工具调用的 61% 到 93%,且很少使用 subagent 或上下文摘要。不过 Runta 并未单独测试这些设计选择,因此结果无法确定更简单的配置是否就是成本更低的原因。
The post Your AI coding agent could cost 5x more depending on the harness, benchmark finds appeared first on The New Stack.
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。