
Anthropic:模型再强也救不了糟糕的运行框架
来源标题:A Smarter Model Won't Save Your Bad Harness
Anthropic 指出,智能体由模型、运行框架和环境构成,光有聪明的模型无法完成实际工作。运行框架决定模型能看到什么、能执行哪些动作、结果如何回传以及任务何时结束,正是它把模型转化为智能体。文章拆解了智能体运行框架的各层结构,以帮助理解这一工具。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
一个 agent 大致上就是模型置身于 harness 之中、在某个环境里运行。
模型提供智能。它进行推理、做出决策、编写代码,并决定下一步要采取什么行动。环境则是这项工作实际发生的计算机、代码仓库、浏览器或容器,而用户(有时是另一个 agent)负责提供目标,并在需要时给予引导。
harness 决定模型能看到什么、能采取哪些行动、结果如何反馈到下一次推理中,以及工作何时算真正完成。
你可以把 harness 工程理解为围绕模型搭建的系统,目的是让它成为完成真实工作的引擎。模型有多聪明并不重要。没有 harness,它只是一台生成 token 的机器。harness 才让这份智能真正有用。harness 是把模型变成 agent 的东西。
harness 有很多类型。有些针对不同类型的工作做了调优。
但从根本上说,它们都共享同一套骨架。今天我们就来拆解 agentic harness 的各个层次,以便更好地理解我们这门手艺的工具。
大语言模型接受输入,然后用这些输入生成下一个 token,接着把最后生成的 token 追加到输入中,循环继续,直到它判断已经完成。单靠自身,它们无法:
如果把大语言模型比作大脑,harness 就是它的身体。
你的 prompt 并不是直接送到模型那里,然后回来就变成一个神奇完成的补丁。harness 会以反馈循环的方式把许多次推理调用复合起来,大致如下:
而这里列出的每一步都需要相当多的工程工作。
如果你在两个不同的编程工具里用过同一个模型,你大概已经有这种感觉了。模型可能相同,但体验和输出质量可能天差地别。
一篇论文《Stop Comparing LLM Agents Without Disclosing the Harness》报告称,Claude Opus 4.5 在标准化的 SEAL 脚手架下得分为 45.9%,而通过 Claude Code 在 SWE-bench Pro 上使用时得分为 55.4%。
《Stop Comparing LLM Agents Without Disclosing the Harness》中的表 1
而且复杂并不总是王道。有时一个更小的工具 schema 比额外的编排层更能提升 agent。最近,Prime Intellect 发布了他们的编程 harness。基于 Pi 构建的 Prime Agent 成功超越了他们的模型被训练去使用的那些 harness。
来源:Prime Intellect 的 Prime Agent 公告
这里的寓意是:一个基准测试告诉你“模型 A 胜过模型 B”,如果两次测试没有使用相同的 harness,有时实际上可能会无意中产生误导。上下文(以及 harness)很重要。
基准测试结果属于模型-harness 配对。如果 harness 变了,结果也可能变。而随着 harness 变得更有野心,它们也会发起更多的模型调用。这正是快速推理开始变得重要的地方。
这里你可以清楚地看到:同一个模型在不同 harness 下性能差异巨大。
看看 harness 负责的事项清单:规划、循环、重试、验证、测试、压缩、编排、审查。其中每一项都需要另一次模型调用,消耗 token,但更重要的是消耗时间。
一次验证 pass 可能捕获 bug,但它也会让运行时间翻倍。subagent 可能将其中一些工作并行化,但 orchestrator 仍然必须规划、分派并综合这些结果,而所有这些步骤都是串行的。
每一次模型调用都会增加延迟,而在一个基本串行的 agent 循环中,粗略的预算大致如下:
如果一步很慢,十步就变得让人难以忍受。但反过来,如果模型步骤很快,harness 就有空间在 agent 停止感觉可交互之前做更多有用的工作。
这个区别很重要。在 Cerebras 上运行 GPT-5.6 Sol 可达每秒 750 token,完整轮次响应低至 0.4 秒。这种速度水平解锁了新能力,并为 harness 提供了更大的预算用于推理、工具使用、恢复和验证。
一旦模型延迟缩小,工程师可以用那段时间做几件有用的事。
这些只是几个例子,有想象力的构建者当然能以成千上万种有利的方式利用低延迟推理,但总体上最大的好处无疑是让人类能够以交互式、实时的方式参与构建过程。搜索、推理、工具使用和编辑坍缩成一个更紧密的循环,更接近真正结对编程队友的感觉。
为了将 harness 的影响与模型的智能隔离开来,我们运行了一个简单的对照实验:她是 Claude Opus 4.6,同样的任务,在两个不同的编程 agent 中:Factory Droid 和 Claude Code。
两个 agent 都从一个空仓库开始,并收到相同的 prompt:
评估聚焦于同样的五项要求:绘制矩形和箭头;选择、移动和删除元素;撤销和重做;导出为 PNG;以及在浏览器中运行结果。两个 agent 都通过了全部五项要求。区别在于每个 harness 如何高效地把同一个模型转化为经过验证的工作。
在这一次运行中,Factory 提前 11 分钟完成,大约快了 2.4 倍,同时使用的工具调用大约只有一半。它还在报告完成之前识别并修复了一个阻塞性的命中测试问题,然后记录了剩余的非阻塞性缺口。
这并不是声称某个 harness 会赢得每一个任务,而是一个说明性的例子,表明 harness 充当推理乘数:即使模型保持不变,它周围的系统也能实质性地改变最终结果的路径、成本、速度和质量。
注:结果可能因 harness、任务和模型配置而异。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。