
Skillroll 发布:用纯 Markdown 和地下城主代理给任意技能做评测
来源标题:Show HN: Skillroll – pure Markdown evals for any skill using a Dungeon Master
开发者发布了 Skillroll,一个只需 eval.md 就能测试任意 agentic 技能的评测框架。它通过一个模拟世界的 Dungeon Master 代理接管所有工具调用,每个 eval.md 包含世界描述、代理提示词和 LLM 评审的通过标准,单次评测成本约 0.003 美元。该框架适合用先写失败评测再迭代修复的方式维护技能,并可在 CI 中自动运行以防回归。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
维护 agentic skill 一直像件苦差事,因为测试它们实在太难了。为每个小 skill 都写 eval 又过于复杂,所以我写了 Skillroll —— 一个只需一个 eval.md 就能测试任何 skill 的 eval 框架。怎么做?不必搭建复杂的 eval 环境,你只需写一段简短的世界描述,运行一个模拟该世界的 Dungeon Master agent,并把所有工具调用都路由给这个 agent。每个 eval.md 就是一个测试用例,包含“世界描述”“agent prompt”,以及供 LLM judge 在评判通过/失败时参考的“评判标准”。我认为 Skillroll 特别适用于这类场景:通过写一个失败的 eval、不断迭代 skill 直到它通过,来修复 skill;之后你可以保留这个 eval,防止未来出现回归,并在 CI 中自动运行它。你也可以用类似 TDD 的方式用它来编写新的 eval。我发现 OpenAI 的 Luna 是运行 Dungeon Master 时性价比非常高的选择,每次 eval 成本约 $0.003,并且支持相当复杂的世界场景。希望它能帮你减少为自己 skill 编写 eval 时的阻力。 Comments URL: https://news.ycombinator.com/item?id=50508503 Points: 1
Comments: 0
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。