返回资讯中心
外部精选
软件工程
#开发者实时流

Skillroll 发布:用纯 Markdown 和地下城主代理给任意技能做评测

来源标题:Show HN: Skillroll – pure Markdown evals for any skill using a Dungeon Master

开发者发布了 Skillroll,一个只需 eval.md 就能测试任意 agentic 技能的评测框架。它通过一个模拟世界的 Dungeon Master 代理接管所有工具调用,每个 eval.md 包含世界描述、代理提示词和 LLM 评审的通过标准,单次评测成本约 0.003 美元。该框架适合用先写失败评测再迭代修复的方式维护技能,并可在 CI 中自动运行以防回归。

Hacker News 最新vafels2026/11/15 · 2 天前3 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

维护 agentic skill 一直像件苦差事,因为测试它们实在太难了。为每个小 skill 都写 eval 又过于复杂,所以我写了 Skillroll —— 一个只需一个 eval.md 就能测试任何 skill 的 eval 框架。怎么做?不必搭建复杂的 eval 环境,你只需写一段简短的世界描述,运行一个模拟该世界的 Dungeon Master agent,并把所有工具调用都路由给这个 agent。每个 eval.md 就是一个测试用例,包含“世界描述”“agent prompt”,以及供 LLM judge 在评判通过/失败时参考的“评判标准”。我认为 Skillroll 特别适用于这类场景:通过写一个失败的 eval、不断迭代 skill 直到它通过,来修复 skill;之后你可以保留这个 eval,防止未来出现回归,并在 CI 中自动运行它。你也可以用类似 TDD 的方式用它来编写新的 eval。我发现 OpenAI 的 Luna 是运行 Dungeon Master 时性价比非常高的选择,每次 eval 成本约 $0.003,并且支持相当复杂的世界场景。希望它能帮你减少为自己 skill 编写 eval 时的阻力。 Comments URL: https://news.ycombinator.com/item?id=50508503 Points: 1

Comments: 0

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →