
UC Berkeley与微软发布TokenEconomizer插件,让AI编程代理更省token
来源标题:TokenEconomizer: Learning from Experience to Make AI Coding Agents Efficient
UC Berkeley与微软研究院联合开源TokenEconomizer插件,通过将已完成会话的经验转化为后续任务指导,在不改动代理或底层模型的前提下减少AI编程代理的token浪费。研究团队基于SWE-Bench的60个真实修复任务对Claude Code进行剖析,发现三类重复出现的浪费模式。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
作者: Aaron J. Li 研究实习生 Weijia Xu 高级研究员 Chandan Singh 员工研究科学家 Zixiao Chen Jeevana Priya Inala 高级研究员 Bin Yu 教授 Ion Stoica 教授 Michel Galley 高级首席研究经理 Jianfeng Gao 技术院士兼企业副总裁
在我們的論文《TokenEconomizer: Experience-Driven Black-Box Cost Control for Coding Agents》中,我们提出一个简单的问题:仓库中的经验能否帮助 agent 更高效地解决未来的任务?TokenEconomizer 是来自 UC Berkeley、Microsoft Research 和 Microsoft Security 的开源插件,它将已完成的会话转化为对后续会话的指导。它能在不改变 agent 或其底层模型的情况下减少浪费,因此开发者可以将其与已经在使用的 coding agent 配合使用。
我们首先在 SWE-Bench 的 60 个任务上对 Claude Code 进行了分析,SWE-Bench 是一个针对开源 Python 项目中真实 bug 修复的基准测试,我们按顺序运行每个仓库的任务。三类浪费反复出现:
我们还测试了三个流行的开源插件,每个都围绕一种固定的成本节约策略构建。每个插件都在某些仓库中降低了成本,但在其他仓库中则没有。综合来看,这些发现表明,有效的成本控制必须适应仓库,而不是在所有地方应用相同的策略。
与 Microsoft 的 Peter Lee 一起踏上探索之旅,了解 AI 如何影响医疗保健以及它对医学未来的意义。
在每个会话之后,TokenEconomizer 会读取会话日志并更新其对仓库的了解。然后它通过三种机制采取行动,仅使用 agent 已经提供的接口,如图 2 所示。
微技能以一行笔记的形式捕捉仓库特定的知识。TokenEconomizer 识别跨会话的重复模式并提出相应的笔记。只有在多个会话确认该模式后,这些笔记才会被添加到 agent 的起始上下文中;如果后续证据与之矛盾,则会停用该笔记。
工具剪枝移除仓库历史表明 agent 不太可能使用的工具,同时始终保留用于运行命令和编辑文件的核心工具。被移除的工具如有需要可以恢复。
失败循环干预会监视持续遭遇相同失败的 agent。一个评判模型决定 agent 是真正卡住了还是仍在取得进展。如果卡住了,agent 会收到一条简短笔记,建议采用不同的方法。在开源插件中,如果 agent 在收到笔记后仍然卡住,TokenEconomizer 会提醒开发者,而不是自行停止工作。
控制器被设计为随着新证据的出现而修正其决策。报告的成本节约也计入了 TokenEconomizer 自身模型调用的成本。
我们在来自六个仓库的 277 个 SWE-Bench 任务上评估了 TokenEconomizer,使用了五种不同的 AI coding agent 与模型组合。对于每个仓库,TokenEconomizer 都从零会话历史开始。
如图 3 所示,TokenEconomizer 将平均成本降低了 18.4–30.9%,并且在所有 30 个仓库-组合配对中都实现了最大节约,且没有性能损失。相比之下,降低模型的推理力度虽然节省了相似或更多的成本,但导致了显著的性能下降。
随着经验的积累,节约效果会增长。早期任务在 TokenEconomizer 学习期间可能会花费更多,但到第六个任务时,每个仓库的累计成本都降至默认值以下,如图 4 所示。每种机制单独都能带来节约,而将三者结合则能实现最大幅度的降低。
这些节约也延续到了顺序 Web 开发中,在 Web-Bench 上成本降低了 16.0–21.2%。在安全审计中,每个任务都在一个新的仓库中进行,成本降低了 6.4–19.6%。
TokenEconomizer 为 coding agent 开辟了一条道路,使其不仅能学习如何解决任务,还能学习如何更有效地使用计算资源。其轻量级控制器展示了经验如何在不改变底层 agent 或模型的情况下提高效率。
该开源插件使这些方向对开发者和研究人员都可访问。它被设计为与现有的 AI coding agent 并行运行,无需修改其底层模型,不需要自己的 API key,并将学到的内容保留在开发者的机器上。我们邀请社区将其作为一个起点,探索那些随着经验积累而变得更加资源丰富、能够适应工作方式以及知识内容的 agent。
技术院士兼企业副总裁
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。