
Harness Tuner 推出面向智能体工具的评估驱动调优循环
来源标题:Show HN: Harness Tuner – eval-driven tuning loop for agent tools, prompts, model
Harness Tuner 发布了一套面向 AI 智能体的调优循环,围绕模型周边的工具、提示词和技能组合做实验,而非只改提示词。对 200+ 工具的多轮生产智能体调优后,失败减少 2.5 倍、成本降低 6 倍、延迟减半,并在更小模型的留出数据上测得。工具支持按质量、成本或速度设目标,并强制区分训练、验证和测试集以防止指标虚高。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
针对真实生产环境的 agent 调优后:失败率降到 1/2.5,成本降到 1/6,延迟降到 1/2。这些数据是在留出数据上、用更小的模型测得的。它是一个多轮 agent,带有 200 多个工具。 更好的模型会推动前沿。而调优过的 harness 能让你超越这条前沿。 大多数优化器只调 prompt。Harness Tuner 调的是模型周边的一切。 它尝试的是不同方法,而不只是换措辞:用一个大 prompt 还是拆成技能,用 RAG 还是用技能,用许多小工具还是用一个通用工具。 你设定目标并掌舵。可以按质量、成本或速度优化。当它削减成本或延迟时,会守住质量。你可以用大白话告诉它该关注什么、不要碰什么。 多个目标,而不是一个数字。把你所有的 eval 都带进来,它会追踪每一个。 一次只改一处。每个实验只运行它针对的那些 eval,所以试一个想法很便宜。任何改动被提升之前,都会对照所有 eval 检查。不会有东西悄悄回退。 是一张图,不是一条线。实验可以从任何更早的版本分叉出来,常常有多个父版本,胜出的再合并回去。 train、val 和 test 在代码层面强制隔离。agent 只能看到 train。val 决定是否提升。test 从不被读取,所以你汇报的数字是它从未针对优化过的。 多个胜出方案,由你来选。它会找出质量最好的、质量良好前提下最便宜的、一个均衡选项,以及最快的。你可以在 Kiln 里并排比较它们。 运行在你已经在用的 coding agent 上:Claude Code、Codex 或 OpenCode,用你现有的订阅。 与 Kiln 配合使用。我们免费的 app 会追踪每个实验,并排展示各项权衡。 优化演示项目 把随调优器附带的一个小型审核任务复制到新文件夹,加入 Kiln,并对它调优:624 条带标签的论坛帖子,外加一个 eval。基线 prompt 不知道论坛的内部规则,所以有很多可发现、可修复的地方。 需要在 Kiln 中添加一个 OpenRouter API key。harness-tuner 这次运行大约花费 $2。 uv tool install harness-tuner harness-tuner --demo 快速开始 uv tool install harness-tuner harness-tuner 它会引导你完成剩下的步骤:启动 Kiln(或从 kiln.tech 获取),然后选择要调优的项目和任务。你的 agent 需要在 Kiln 中是一个任务,并带有 eval。Kiln 可以引导你创建这两者。 它一波一波地运行,直到预算或时间用完,然后收尾,写出报告并打印报告位置。详情见:docs/your-own-task.md。 Kiln,在同一台机器上。CLI 会引导你安装并启动它。 一个带 eval 的 agent。Kiln 可以引导你创建这两者。 你已经在用的 coding agent:Claude Code(默认)、Codex 或 OpenCode。调优器的 agent 运行在你的订阅上。 你的模型提供商密钥,存放在 Kiln 中。用于运行被调优的 agent 以及 eval。 uv,用来安装它。 缺了什么?docs/install.md 对每项要求都有检查和修复办法。 Harness Tuner 免费且开源,但它需要 LLM API 调用。详见 docs/costs.md。 调优一个 agent 不止是一个循环。Kiln 和 Seahaven 提供了其余部分: 这和 prompt 优化(DSPy、GEPA 等)有什么不同? prompt 优化器调的是程序内部的 prompt。Harness Tuner 调的是你已有的整个 agent:它的工具、技能、prompt、模型和设置,对照你在意的每一个 eval。 某种程度上,它做的就是这件事,只是把严谨性和规模内建了进去: 调优过的 harness 更容易部署(不需要 GPU,用现成模型),在产品需求变化时更容易更新,迁移到最新模型发布更快,而且更便宜。Kiln 也支持 fine-tuning,在高级场景下调优器可以使用你微调过的模型。 模型路由器会根据它猜测的请求难度,为每个请求挑选模型。Harness Tuner 则通过给 agent 提供所需的工具和指令,让任务对模型来说更简单。这通常能让每个请求都走更便宜的模型,而且它提升质量的方式是大模型做不到的。 它不碰你原有的工具。它写的是 wrapper:小代码工具,调用你现有的工具,并重塑输入输出。wrapper 可以把响应裁剪到只留有意义的字段,遍历一组结果,把多次调用合并成一次,或者把计算做掉,省得模型自己算。你的工具保持现有签名,所以 Kiln 之外的东西都不变。 Kiln 为你构建使用合成用户的 eval。每个 eval 项会设定一个人设、一个目标和轮数,由一个模型扮演用户。对每个候选方案来说,模拟用户都是同一个,所以比较是公平的,而且它的成本与你的 agent 分开追踪。 实验会调用 agent 的工具,所以它们需要一个这些工具能运行的环境。最好的选择是为你的 eval 建一个合成世界,用 Kiln Seahaven 构建。它给你一个安全、可复现、高度并行的运行场所。 调优器的 agent 只能看到 train 划分。val 只用于决定哪些候选被提升。test 从不被调优器读取:你为最终报告运行它,所以你引用的数字是它从未针对优化过的。这在代码层面强制执行,而不是在 prompt 里请求。 再次运行调优器,在启动时选择新模型(或允许任意模型)。它会用新模型对照每个 eval 检查,需要时为新模型重新调优 harness,并在之前所有运行学到的东西之上继续构建。升级变成一次例行运行,而不是一个项目。 Harness Tuner 运行在 Kiln 上,这是我们免费的 app。Kiln 提供: 这取决于项目的规模。一个带小型 eval 的小 agent 可能花几美元。一个带数百个工具的大 agent 可能花几百美元。你通过 Kiln 为模型调用设定预算(你的 agent CLI 自身的用量不计入)和时间限制,任一用完时它就停止启动新工作。 Harness Tuner 做了几件事来压低成本: eval 需要直接的 API 访问,无法在 coding agent 订阅上运行,所以它们的 token 记到你 Kiln 中的提供商密钥上。详情见:docs/costs.md。 工作原理:整个循环,附示意图。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。