
EnvOpt:自动优化智能体所处环境的组织方式
来源标题:EnvOpt: Automated Optimization for Agent Environments
研究者提出 EnvOpt,可针对任意模型和 harness 自动端到端优化智能体的固定环境结构,无需评分器或参考答案。该方法利用真实或合成任务,通过改变信息在环境中的组织方式来提升智能体的成本与成功率。研究指出,环境结构与模型参数、harness 同为核心影响因素,而此前常被视为不可变。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
LLM agent 的成本和成功率取决于三个因素:模型参数、harness,以及它所交互的环境的结构。前两者可以通过参数调优和 harness 优化来主动优化,而环境通常被视为不可更改。然而,同样的信息可以以截然不同的形式提供给 agent。例如,一家公司的 Slack 历史记录既可以放在远程服务器上通过 MCP 访问,也可以导出为纯文本文件,用 grep 这类终端工具读取和搜索。仅这一项选择就能显著影响 agent 完成任务所需的工作量。
固定环境(stationary environments)指的是包含大量工件(artifacts)的环境,这些工件在许多任务中保持不变或高度相似。例如,一个银行 agent 面对海量查询时使用相同的企业平台和数据库;一家公司的 Slack 助手的许多任务依赖同一个 Slack 工作区;某个工具包的功能请求可能依赖同一个代码仓库。我们的目标是优化固定环境组织并呈现给 agent 的方式。
我们使用没有验证器的训练任务,让一个编码 agent 在拥有访问权限和预算、可在固定环境上运行目标 agent 的条件下,为目标 agent 优化环境表示。优化目标既包括环境所包含的内容(例如向环境中添加数据库或对其进行重构),也包括环境暴露给目标 agent 的方式(例如新增 API 端点)。优化后的环境通过带验证器的验证集进行监控,以跟踪成本和通过率,并在留出的测试集上进行测试。
在涵盖工作区任务、数据工程任务和软件工程任务的五个基准上,EnvOpt 在未见过的测试集上将目标 agent 的成本平均降低 48%,同时通过率更高或与之相近。
在 AutomationBench 上,EnvOpt 以仅 15% 的成本,通过率比 Meta-Harness 高出 9.67%。
为目标 agent 优化的环境可以迁移到其他 agent,甚至迁移到使用不同 harness 的 agent,以及比提出优化方案的模型更强的模型。
我们将 EnvOpt 产出的环境叠加到 Meta-Harness 之上,观察到类似的成本降低,并且通过率提升 16%,优于单独使用 Meta-Harness 或 EnvOpt。
在 AutomationBench 中对固定环境进行一次离线优化,EnvOpt 的成本约为 150 美元,而它使运行 Claude Opus 4.8 的成本节省 77.5%,很容易省下数倍于运行 EnvOpt 的成本。图中的折线通过对测试集任务的实际运行成本进行随机采样得出。
为说明 EnvOpt 的成本降低来自何处,我们将输入 token 和输出 token 按类别拆分,包括不同种类的工具调用、工具执行结果(环境反馈)、思考 token、agent 历史等。我们观察到,最显著的 token 成本降低来自输入 token 中的环境反馈类别。输出 token 一侧的工具调用类别也有显著节省。
EnvOpt 分多步优化环境,每一步使用一组不相交的、不带验证器的训练任务。
在每一步中,一个研究 agent 在沙箱中启动,获得原始环境作为本地目录,以及权限在另一个沙箱中运行目标 agent。研究 agent 被指示运行目标 agent、分析轨迹,并编辑其文件系统中的环境目录,以降低目标 agent 的成本而不损害通过率(由于训练任务没有提供验证器,研究 agent 通过代理指标或答案一致性自行判断通过率)。值得注意的是,我们不允许研究 agent 修改目标 agent 的 harness。我们为每一步提供不相交的任务集,以防止过拟合。
为防止研究 agent 在训练步骤中出现奖励黑客行为(例如直接写下训练任务的答案以降低成),我们隐藏了训练中所用任务的全部验证器。这也缓解了某些固定环境中高质量任务稀缺的问题,因为我们可以为训练合成分布内的查询(但不合成验证器)(我们在 Workspace-Bench 和 Data-Eng-Bench 上使用了合成训练任务,见论文附录)。在每一步结束时,我们运行带验证器的验证查询,以判断 EnvOpt 是否已收敛或应继续运行。
我们不要求环境完全一致:略有不同但高度相似的环境,可以使用研究 agent 在 EnvOpt 过程中编写的自动转换器进行转换。对于 AutomationBench,该转换器是一段在每个任务开始时运行的简短程序。它调用 agent 读取该任务数据时所用的同一 API,并将结果重写为一个紧凑的文本块,置于 agent prompt 的顶部,这样 agent 就能跳过搜索和列举步骤,直接行动。
LLM agent 的成本和成功率取决于其模型、harness 和环境。Agent 通常部署在由许多任务共享的丰富环境中,例如一家公司的 Slack 工作区,或一组复杂的数据源、文档或工单。我们称这些为固定环境。要改进一个 agent,可以调优模型或编辑 harness;我们表明,改变信息在环境中的组织方式是第三条路径。我们提出 EnvOpt,一种针对任意给定模型和 harness 对固定环境进行自动化端到端优化的方法,它使用真实或合成任务,无需任何评分器或参考答案。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。