
Omnara 在 Terminal-Bench 4.0 上比前沿实验室成本低 11%、速度快 12%
来源标题:We ran Terminal-Bench 4.0 11% cheaper and 12% faster than the frontier labs
Omnara 的开源 harness 在 Terminal-Bench 4.0 上追平了 Claude Code 和 Codex 的通过率,同时成本更低、部分模型速度更快。相比前沿实验室,其成本降低 11%、速度快 12%,结果与基准 harness 已全部公开。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
用 Terminal-Bench 4.0 对 Omnara 进行基准测试
构建一个可靠、高性能的 harness 很难,难到有些人说只有实验室才能做好。幸运的是,事实并非如此:在 Terminal-Bench 4.0 上,我们的 Omnara harness 达到了 Claude Code 和 Codex 的通过率,同时成本更低,对某些模型来说完成速度还更快!
Omnara 是一个开源、与模型无关的平台,用于部署和运行 agent。作为其中的一部分,我们构建了自己的 harness,主要是出于基础设施方面的原因,而不是 LLM 性能方面的原因。Omnara 的 agent loop 直接在我们的云上运行,并与目标机器交互,而不是在环境内部本地运行。这使得我们的 agent 具备持久性、可恢复性和横向可扩展性。
为了实现这些成本和时间上的节省,我们针对 token 效率调优了开源 harness 和工具架构,同时没有牺牲性能。我们已将结果和基准测试 harness 完全公开,并希望展示我们是如何通过改进后的工具集实现这一点的。
Omnara 可与任何模型配合使用,因此我们决定将模型与其所属实验室自己的 harness 进行对比测试。我们用两个前沿模型运行了 Terminal-Bench 4.0:Claude Opus 5.5 和 GPT 6.1 Sol,均采用最大推理强度。我们将结果与各自实验室的 harness 进行了对比:Opus 对应 Claude Code,Sol 对应 Codex。
Claude Code 和 Codex 是运行在任务沙箱内的 CLI。Omnara 的 agent loop 则运行在我们的云上,通过一个小型守护进程 omnarad 连接到机器。对于每个任务,Terminal-Bench 的任务运行器 Harbor:
将沙箱附加到 agent 配置后,agent 便获得 Omnara 的标准机器工具集,详见下文工具架构部分。3 Omnara 是一个通用 agent,因此不附带默认系统提示词。相反,我们针对自己的运行将 Claude Code 和 Codex 的系统提示词适配到了 Omnara 的功能集上。两个模型均在最大推理强度下运行,输出上限为 128k,与其原生 harness 保持一致。我们在 Omnara 的运行中禁用了网页搜索和抓取。
在 Omnara harness 中,Claude Opus 5.5(max)的通过率比 Claude Code 高出 6%。4 它不仅性能更高,速度也更快,成本还略低。成本约低 5%,完成任务所需时间少 12%。在某些极端情况下,比如在 embedding-drift-monitor 任务中,Omnara 和 Claude Code 都能稳定解决任务,但 Omnara 的效率显著更高。对 Claude Code 来说,这是一个耗时近 1 小时、平均花费 $8.54 的任务;而对 Omnara 来说,这个任务只花一半的时间和一半的费用,主要原因是 LLM API 调用次数更少(44 次对 63 次)。
在使用 GPT 6.1 Sol 时,Omnara harness 的表现处于 Codex harness 的误差范围内。5 但它与 Codex 之间的效率差距更大。Omnara harness 的每任务成本最终比 Codex 低 11%,token 用量少 35%(5.03M → 3.26M tokens)。在 fp8-rmsnorm-gemm 中,Omnara 和 Codex 都能稳定解决任务,但 Omnara 同样更高效。对 Codex 来说,这是一个平均花费 $2.01 的任务;而对 Omnara 来说,花费 $1.29,约为前者的三分之二。主要原因是 Omnara 执行的 LLM API 调用少 33%,token 用量少 55%。
如果实验室在其 harness 上投入了如此多的精力,我们的 harness 为何能更高效?Omnara 的诀窍在于它推迟了大部分上下文的加载,尤其是在执行进程时。
Omnara 提供的工具集与大多数其他 harness 略有不同。Omnara 没有采用单一的阻塞式 exec 工具,而是提供了 run_command 工具,对于长时间运行的命令不会阻塞 agent loop。相反,它返回一个 process_id,agent 可以将其传给其他进程管理工具。之后,agent 可以使用 read_process、write_process 和 watch_process 等工具与该进程交互。6
这种工具架构带来了几个好处:
因此,Omnara 产生的工具调用比 Codex 和 Claude 更高效。agent 不再需要为较长时间的工作进行大量轮询,默认情况下也会省略更多上下文。在两个 harness 都能解决的任务中,比如 embedding-drift-monitor 和 fp8-rmsnorm-gemm,你可以具体看到这种工具架构带来的回报。这些优势带来了相比 Codex 11% 的成本节省、相比 Claude Code 约 5% 的成本节省,以及相比 Claude Code 快 12% 的任务完成速度。
实验室构建了出色的模型,而高性能的 harness 搭配可靠的平台,是这些模型的效力倍增器。Omnara 团队一直在迭代我们的工具架构,并致力于成为你部署 agent 的最佳场所。
本次运行的每一条 trace 都在我们的结果查看器中,harness 代码在 GitHub 上。如果你希望自己的 agent 也能获得这种效率,无论使用何种模型、在任何机器上,今天就试试 Omnara。
Christian Sparks 是 Omnara 的创始工程师,此前曾在 Cloudflare 工作。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。