
EvalSift Lite 发布:无需 API key,用确定性检查分析 LLM agent 轨迹错误
来源标题:EvalSift – 100 hand-labeled LLM agent traces
EvalSift Lite 是一个免费的 MIT 许可 Python 工具,用确定性代码检查对 LLM agent 轨迹评分并生成 Markdown/HTML 失败报告。它附带一个案例研究:100 条手工标注的工具调用客服 agent 轨迹,其中 88 条通过、12 条失败。该工具需 Python 3.10+,无依赖、无需 API key。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
在你写第一条 eval 之前,先弄清楚你的 LLM agent 到底是怎么失败的。EvalSift Lite 是一个免费、MIT 许可的 Python 工具(3.10+,无依赖,无需 API key),用于对 LLM agent traces 做错误分析:它会校验 traces.jsonl 文件,用确定性代码检查给每条 trace 打分,并输出一份 Markdown/HTML 报告说明哪里失败了。它还附带一个案例研究:来自一个使用工具的支持 agent 的 100 条 traces,全部手工标注。获取完整 Solo kit(100 条标注 traces + 数据):https://merletownley.gumroad.com/l/fjppx git clone <repo-url> && cd evalsift-lite python -m venv .venv && . .venv/bin/activate pip install -e . python -m evalsift_lite.demo # writes report.html, report.md, results.jsonl 该 demo 会对来自一个虚构支持 agent 的 8 条 traces 打分,其中埋了 4 个失败,4 个全部被抓到。这是一个为虚构户外用品店服务的支持 agent,带有订单、库存和政策工具。只有一位标注者,88 条通过、12 条失败。完整分解见:case-study/FAILURES.md 这 100 个问题放在 case-study/questions.jsonl 里,你可以拿它们跑你自己的 agent,看看它会不会犯同样的错误。每行一个 JSON 对象:trace_id、input、output,可选的 steps[](每项 type 为 llm 或 tool,另有 name、args、result、error)以及可选的 metadata{}。然后: python -m evalsift_lite.demo --traces your_traces.jsonl --out-dir out/ 这会运行内置检查;你可以在 evalsift_lite/graders.py 里添加自己的检查。EvalSift 还为 Claude Code、Codex 和 Cursor 增加了 agent skills,引导你完成错误分析、建立失败分类体系、编写 LLM judge、用人工标注校验该 judge,以及在 CI 中拦截回归。它还包含完整的案例研究数据:全部 100 条 traces、带注释的标注,以及一份关于标注是如何做出的说明。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。