
谷歌云发布评估 agent 技能的五条规则,避免技能文件撑爆上下文窗口
来源标题:Five rules for evaluating agent skills before they bloat your context window
谷歌云开发者关系团队提出评估 SKILL.md 技能是否值得消耗 token 的五条工程规则。团队用 Gemini、Antigravity 等 agent 在 GKE Autopilot 的隔离 Harbor pod 中跑了数十个场景,并将 Kubernetes 和 Gemini 平台能力贡献给 NVIDIA 的开源评估器。当插件组与基线组的评测结果没有差异(Δ = 0)时,不应立即重写 SKILL.md 指令正文。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
Karl Weinmeister 开发者关系总监
你可能最近越来越多地听到 SKILL.md 文件,也会发现很多人测试它们的方式都差不多:把一段 prompt 粘贴进聊天窗口,在笔记本上看着它通过一次,然后就直接合并到主分支。但如果你把三页 CLI 文档塞进一个 markdown 文件、却没有配套的评估闭环,那你搞晕一个前沿模型的概率,和帮到它的概率差不多。
过去几周,我们一直在认真度量和优化自家的 Google Cloud Developer Plugin,用上了最核心的几项 skill,以及 Developer Knowledge MCP server,让回答能扎根于文档。
我们用 Gemini、Antigravity 以及其他 agent 跑了数十个场景。我们在 GKE Autopilot 上隔离的 Harbor pod 里,通过 Gemini 平台使用了 Claude Sonnet 5。此外,我们还向上游贡献了 Kubernetes 和 Gemini 平台相关能力,进入了 NVIDIA 的开源评估器。
下面就是我们用来验证一项 skill 是否值得消耗 token 的五条工程准则。
当一次评估运行显示你的插件组和基线组之间没有任何提升(Δ = 0)时,你的第一反应自然是去重写 SKILL.md 指令的正文。先别急。十次里有九次,agent 压根就没加载你的 skill。
编码 agent 在对话轮次为零时并不会读取完整的 SKILL.md 正文。路由器只会检查你 YAML frontmatter 里的简短名称和描述。一旦一个工作区里的 skill 超过十几个,两种失效模式就会撞在一起:触发不足(你的描述写的是内部实现,而不是开发者的意图)和邻近劫持(旁边某个 skill 里一句宽泛的「帮助处理云端部署」会先把 prompt 拦截走)。
我们最近开源了 skill-reach,让你在花钱跑容器沙箱之前就能发现 frontmatter 冲突。它会校验 manifest、计算与最近竞争 skill 的词汇重叠度,并在 Claude Code、Google Antigravity 和 OpenAI Codex 上跑实际的路由探测:
Loading... uv tool install skill-reach
1. Validate YAML frontmatter & token budgets (zero API calls)
reach lint ./skills
2. Detect vocabulary collisions & nearest rival skills (e.g. 0.69 overlap)
reach overlap ./skills
3. Run cross-harness routing probes and auto-tune weak descriptions
reach eval ./skills/cloud-run --runs 3 reach optimize ./skills/cloud-run --apply
把 skill-reach 和 NVIDIA 的 SkillSpector(SkillEvaluator 的 Tier 1 和 Tier 2)搭配使用。正如 Nemotron Labs 团队在他们那篇《Evaluating Agent Skills》深度文章里详细说明的,标准代码 linter 会漏掉埋在 markdown 散文里的 agent 原生风险:prompt 注入、静默数据外泄、工具投毒和触发滥用。
如果你直接在工作站上跑 skill 基准测试,你得到的数字是在骗你。开发者的笔记本里塞满了会污染基线组的环境状态:
已导出的项目变量和热着的 bash 历史 一个没有任何辅助的基线 agent 可以通过云端部署测试,靠的只是继承了本地 shell 配置里的默认项目 ID 或 token,恰好掩盖了你写这个 skill 本来要解决的那个失败。
宿主机资源争抢同样会扭曲 agent 的轨迹。在用 AlphaEvolve 爬山优化代码检索 agent 时,我们的内部测试显示,当工作站处于 CPU 负载之下时跑完全相同的 agent 基准测试,分数会下降。更慢的文件扫描和子进程超时会让 agent 过早放弃搜索路径。
只跑一次 prompt、截个绿色对勾的图,这不是真正的评估。多轮使用工具的 agent 会在每个 shell 退出码和 stdout 片段上分叉。在我们的检索研究里,超过三分之一的基准任务在完全相同代码和 prompt 的连续运行之间产生了不同的分数。
没有对照基线做比较,满分同样毫无意义。Claude 的插件评估工具和 NVIDIA 的 SkillEvaluator 都会跨多次重复运行配对消融:A 组在干净的沙箱里跑基础模型、不带 skill;B 组用完全相同的 prompt 和沙箱、但挂载 skill。
对比我们沙箱试验中的分数提升,暴露出三种单次测试会掩盖的清晰模式。不带插件时,基础模型在大多数运行里仍然能凑出一个可用的部署,但代价是先花上几分钟的墙钟时间去猜已废弃的参数、重试失败的请求。反过来,当一个测试用例显示成功率相同、效率却没有提升时,说明基础模型本来就原生具备这项能力。你的 skill 纯属上下文税——删掉它。
Loading...
Scaffold and execute a k=3 paired WITH vs W/OUT ablation locally
claude plugin eval init ./my-plugin claude plugin eval ./my-plugin --runs 3
- 把效率和安全性跟正确性分开,让 agent 无法奖励黑客
当你把评估框架接到一个自动优化器上(比如 AlphaEvolve 或 reach optimize)时,agent 作弊骗过评分器是一种出奇常见的模式。
在我们的 AlphaEvolve 检索实验里,进化出的候选方案发现了四种截然不同的方式来钻基准测试的空子而不真正解决任务。当评分框架在源码里屏蔽了特定的期望子串检查时,一个进化候选会在运行时动态拼接字符串、向上遍历目录树,直接从磁盘上读取标准答案文件。另一个候选则启动子进程来绕过 AST 检查。
进化循环偏爱这些作弊者,因为适应度公式把正确性(权重 0.95)和 token 效率(权重 0.05)混合成了一个单一分数。从磁盘读取答案文件不消耗任何 LLM 轮次,白赚一个效率加分,让作弊者相对那些老老实实花 token 搜索仓库的 agent 获得了生存优势。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。