Mahal Systems 发布 AOT 库,汇集 Agent 优化方法及适用信号
来源标题:A complete (?) library of agent optimization methods
Mahal Systems 上线 AOT Library,收录 Agent 优化策略及其依据,并持续更新。用户可将提示词交给 Claude Code 等编程 Agent,对照库中条目检查自身 Agent,按信号强弱列出适用优化,并附上仓库代码、提示词、工具与模型调用中的发现。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
复制一段提示词给 Claude Code 或任意编程 agent,让它对照每一条目检查你的 agent。 阅读 https://mahalsystems.ai/aot/optimizations/llms.txt,这是一份 agent 优化目录,列出了每条优化适用的迹象。然后查看本仓库中的 agent:它的代码、提示词、工具和模型调用,以及你能找到的任何 trace 或 eval 结果。告诉我它显示出了哪些优化的迹象,按强度从高到低排列,并说明每条你发现了什么。对于最靠前的几条,在说明如何应用之前先阅读链接的条目。暂时不要改动任何东西。 复制提示词 面向 agent 我们的 AOT Library 收录了 agent 优化策略及其背后的证据。定期更新。 在此浏览库,在下方搜索要实施的策略,或用左侧栏中的提示词把它接入你的编程 agent。 向我展示能够 改善任何方面改善质量降低成本提升速度收紧安全加强治理保护品牌的变更 适用于 任何工作负载检索工作负载记忆工作负载工具使用工作负载代码生成工作负载数据分析工作负载文档提取工作负载网络研究工作负载规划工作负载推理工作负载评判工作负载结构化输出工作负载 通过改变 agent 的任意部分agent 的模型agent 的提示词agent 的上下文agent 的工具面agent 的控制流agent 的状态agent 的知识访问agent 的护栏, 类型为 任意卫生(第 1 层)可靠性(第 2 层)调优(第 3 层)重构(第 4 层), 并且涉及 。
按角色或调用点选择模型,而不是处处用同一个模型,并为每个调用点设置其推理强度和采样参数;针对每个角色所用的模型来调优其提示词(GEPA 在更低成本下提升了所测试的每一个模型)。 第 3 层 · 调优 · 改变模型、提示词 · 任意 agent · 19 个来源,6 个已测量 只向 agent 提供任务所需的工具。 更高质量更低成本表现不一 第 1 层 · 卫生 · 改变工具面、上下文 · 工具使用型 agent · 32 个来源,23 个已测量 在不改动工具实现的前提下,改变模型看到的每个工具的样子:一个独特的名称、严格的 schema(枚举、必填字段),以及一个包含固定部分的描述(用途、何时使用它而非同类工具、默认值与限制、错误模式、副作用),并为复杂参数提供一个用法示例。 更高质量成本不一表现不一 第 1 层 · 卫生 · 改变工具面 · 工具使用型 agent · 18 个来源,8 个已测量 按模型和任务审慎决定动作接口,并为其配备所需条件。 第 3 层 · 调优 · 改变工具面、模型 · 工具使用型 agent · 22 个来源,10 个已测量 不要让一次失败的调用终结整个运行:验证工具调用和模型响应,把工具错误作为结果返回给 agent,并且只重试那些短暂且可安全重复的失败。 第 2 层 · 可靠性 · 改变工具面、控制流 · 工具使用型 agent · 9 个来源,4 个已测量 对于每个使用不足或被误用的工具或技能,在模型始终能看到的地方(系统提示词、AGENTS.md)添加一条明确的触发规则:什么情况下需要用到该工具,以及应当用它替代什么(例如 第 3 层 · 调优 · 改变工具面、提示词 · 工具使用型 agent · 9 个来源,4 个已测量 第 3 层 · 调优 · 改变工具面、上下文 · 任意 agent · 7 个来源 在提示词中放入几个已解决的任务示例(输入和期望的确切输出),或者给数据 agent 提供其自定义指标的带注释示例查询,以及一个按问题检索过往查询的索引。 第 3 层 · 调优 · 改变提示词 · 任意 agent · 7 个来源,6 个已测量 agent 自身的历史记录以及其提示词中的任何示例都会充当 few-shot 演示:当上下文中充满了几乎相同的动作-观察对(连续二十个相似条目、一次重试的调用)时,模型倾向于复制它们的表面形式,而不是评判当前条目。 第 3 层 · 调优 · 改变提示词 · 任意 agent · 13 个来源,8 个已测量 把模型无法知道的运行时事实在每次运行时放入其上下文:今天的日期和时区、工作目录、操作系统和 git 状态、可用的工具、用户和 locale。 第 3 层 · 调优 · 改变提示词、上下文 · 任意 agent · 9 个来源,4 个已测量 重写系统提示词,使任务所需的每一项要求(约束、答案格式、完成检查、如何高效工作、领域流程)都在开头以命名小节的形式只陈述一次,并删除模型不需要的指令。 第 3 层 · 调优 · 改变提示词 · 任意 agent · 11 个来源,2 个已测量 把静态内容(身份、规则、工具定义)放在边界之前,把每轮内容(日期、状态、记忆)放在边界之后;在各轮之间保持前缀逐位一致;从持久化的历史记录中剥离思考文本;并跟踪每轮的缓存未命中成本。 第 1 层 · 卫生 · 改变上下文 · 任意 agent · 8 个来源,1 个已测量 当 agent 可用的工具在任务中途发生变化(按模式、阶段或权限),只声明一次每个工具,保持定义字节稳定,并用另一种方式限制选择:OpenAI 的 allowed_tools 或 tool_choice "none",Anthropic 的追加式 tool_removal 和 tool_addition 块,自托管模型上的解码时 logit 掩码或语法约束,以及一个拒绝允许集之外调用的 harness 检查。 更低成本更快更安全更好治理质量不一 第 3 层 · 调优 · 改变上下文、工具面 · 任意 agent · 11 个来源,5 个已测量 Self-Discover 让模型为每种任务类型组合一次推理结构(从 39 个种子启发式中选择有用的模块,使其适配任务,并将其写成分步计划),然后在每个实例上遵循该缓存的结构,因此每个实例只需一次调用。 第 3 层 · 调优 · 改变模型、提示词 · 推理型 agent · 11 个来源,9 个已测量 在每一步的边界保存 agent 的状态(对话、工作区文件、必要时进程状态,以及外部副作用的账本),以便崩溃或卡住的运行能够恢复或回滚,而不是从头开始。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。