
Evalship 推出 LLM 评估优化工具,可自动检测评估缺陷并优化提示词
来源标题:Show HN: Evalship – find the flaws in your LLM evals
Evalship 发布了一款用于发现 LLM 评估缺陷的工具,可在设置阶段优化评估,并持续监控每个 pull request。该工具能自动检测评估失效或遗漏,并声称提供 24 项以上质量检查,同时自动优化提示词和模型。前 9 个账号可享永久 6 折优惠。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
evalship 揭示你的 LLM 评估中的缺陷。 我们在设置过程中将你的评估改造成最佳状态。 然后 evalship 让它们进入自动驾驶:它监控每个 pull request,并自动优化你的提示词和模型。 让你的编码 agent 来做: Claude Code Codex Cursor GitHub Copilot ★ 上线优惠 接下来 9 个账户永久 6 折 → ~/support-bot $ Set up https://evalship.com/setup.md 👋 现在开始监控此仓库。当 pull request 破坏某个评估,或你的评估漏掉某些东西时,我会发表评论。 🔍 两个新失败都承诺了超过 $100 限额的退款,很可能源于对 support_system.md 的改动。 ⚠️ 未测试的 AI 调用:app/refunds.py#RefundPolicy.explain 没有对应的评估。请添加一个。 打开完整报告,查看每个评估的输入、输出和历史记录。 监控 审查 优化 evalship.com/gh/acme_demo/support-bot/monitor 针对你的 LLM 评估的 24+ 项质量检查 什么坏了,为什么? 坏了 超过限额的退款 refund-limit-1 0.96 → 0.22 远超限额的退款 refund-limit-2 0.94 → 0.18 🔍 两者都承诺了超过 $100 限额的退款。 -绝不要承诺超过 $100 的退款。将更大金额的退款转交给同事。 客户:我的 $150 订单被重复扣款了。我能拿回全部 $150 吗? 很抱歉重复扣款。我本人最多可以退 $100,所以我已经把剩下的 $50 转交给一位同事,他会在一天内确认。 非常抱歉!我已将全部 $150 退还到你的卡上。你会在 3 到 5 个工作日内看到退款。 是回归,还是噪声? main 上最近 10 次运行,然后是这次 PR refund-limit-1回归 refund-limit-1 在 main 上每次都通过,所以它的失败算数。tone-casual 在那里时常失败,因此被搁置。 这个评估会失败吗? tests/evals/conftest.py:24 return 1.0 # don't fail the build on judge errors 当 judge 调用失败时,该用例得分为 1.0,所以一次没有可用 judge 的运行会全部显示为绿色。 每个被改动的 AI 调用都测试了吗? app/refunds.py#RefundPolicy.explain
- def explain(self, order):
- reply = client.chat.completions.create( 这个 pull request 添加了一个没有评估运行的 AI 调用。它的注释说明了这一点,它的报告里附有一段提示词,让你的 agent 去添加一个。 3 10 50 包含私有仓库 1 2 5 25 每月 PR 分析次数 100 300 1,000 5,000 评估历史 30 天 90 天 1 年 2 年 支持 自助 邮件 优先邮件 共享 Slack 频道 审查并修复你的评估 包含 包含 包含 包含 查看每个 PR 破坏了什么,以及为什么 包含 包含 包含 包含 在每个 PR 中捕获评估缺陷和未测试的 AI 调用 包含 包含 包含 包含 阻止破坏你评估的合并 包含 包含 包含 包含 优化你的提示词和模型 包含 包含 包含 包含 使用你的 Langfuse、Braintrust 或其他评估 包含 包含 包含 包含 需要更多?联系我们 与 support bot ELIZA 的配合方式 1发现你的评估中的缺陷 在设置阶段,你的编码 agent 会阅读每个 scorer、judge 和提示词,并找出你的评估不足之处:不该通过却通过的评估,以及没有任何测试用例检查的规则。 严重评估缺陷 泄露客户数据的回复仍然通过 隐私占评分的五分之一,所以一段热情、有帮助但念出另一位客户地址的回复会得到 0.80 分并通过。 score = 0.5 * helpfulness + 0.3 * tone + 0.2 * privacy ▶ 给你的编码 agent 的修复说明 复制 修复我们的 LLM 评估中的这个缺陷,由 evalship 的审查发现:泄露客户数据的回复仍然通过。隐私占评分的五分之一,所以一段热情、有帮助但念出另一位客户地址的回复会得到 0.80 分并通过。见 tests/evals/test_support_bot.py:44。单独对隐私评分,并在任何泄露时判定该用例失败,无论其他得分如何。 在一个 pull request 中修复;evalship 会在该 PR 上确认修复。 2 重要未测试的指令 没有任何东西检查系统提示词中的退款限额 如果某次提示词编辑删掉了它,没有评估会失败,机器人就会承诺它无法给出的退款。 绝不要承诺超过 $100 的退款 ⚠ 没有评估测试超过 $100 的退款请求。 复制 修复我们的 LLM 评估中的这个缺陷,由 evalship 的审查发现:没有任何东西检查系统提示词中的退款限额。如果某次提示词编辑删掉了它,没有评估会失败,机器人就会承诺它无法给出的退款。见 prompts/support_system.md:12。为 $150 和 $1,000 的退款添加用例,预期转交处理。 在一个 pull request 中修复;evalship 会在该 PR 上确认修复。 3 警告评估缺陷 judge 宕机时评估仍通过 当 judge 调用失败时,该用例得分为 1.0,所以一次没有可用 judge 的运行会全部显示为绿色。 return 1.0 # don't fail the build on judge errors ▶ 给你的编码 agent 的修复说明 复制 修复我们的 LLM 评估中的这个缺陷,由 evalship 的审查发现:judge 宕机时评估仍通过。当 judge 调用失败时,该用例得分为 1.0,所以一次没有可用 judge 的运行会全部显示为绿色。见 tests/evals/conftest.py:24。在 judge 出错时判定该用例失败,或跳过它并统计跳过次数。 在一个 pull request 中修复;evalship 会在该 PR 上确认修复。 2阻止破坏规则的 PR Dana 的 #128 缩短了 Eliza 的提示词并删掉了 $100 退款限额。你的 agent 在审查后添加的退款评估现在失败了,所以 evalship 会评论说明什么坏了以及很可能导致它的改动,并且它的检查会阻止合并。 github.com/acme_demo/support-bot/pull/128 🔍 两个新失败都承诺了超过 $100 限额的退款,很可能源于对 support_system.md 的改动。 CI / test (pull_request) 2 分钟内成功 详情 evals / evals (pull_request) 1 分钟内成功 详情 evalship support-bot 中有 2 处回归,很可能源于对 support_system.md 的改动。忽略了 1 个不稳定的评估。在此 pull request 中发现 1 个评估缺陷。 详情 合并被阻止 基础分支要求所有检查通过。 Dana 把限额加了回去。在下一次 push 时,evalship 把它的评论移到新提交下方:退款评估再次通过,所以它的检查通过,pull request 可以合并了。 github.com/acme_demo/support-bot/pull/128,在下一次 push 之后 dana 添加了 1 个提交:恢复退款限额
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。