
agent-roast 上线:检测 AI 编程代理是否削弱测试而非修复代码
来源标题:Show HN: Agent-roast – send your coding agent back when it weakens a test
agent-roast 可检测 AI 编程代理通过放宽断言、跳过或删除测试、降低覆盖率阈值等方式让构建由红转绿的行为。该工具以 Agent 钩子、Git 钩子和 PR 检查形式运行,对比每次改动前后差异。它完全确定性且离线运行,不调用模型、不消耗 token、不联网,并已支持 Claude Code、Codex 和 Cursor。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
你的 AI agent 让测试通过了。 它是改了代码,还是改了测试? agent-roast 会抓住那些让红色构建变绿、但并非修复代码、而是削弱检查的改动:放宽的断言、被跳过或删除的测试、降低的覆盖率阈值、被允许失败的 CI 步骤。linter 看不到这些,因为每一行新代码单看都没问题。agent-roast 对比每次改动前后的差异,可作为 agent hook、Git hook 和 pull request 检查运行。它是确定性的、离线的:没有模型、没有 token、没有网络。 npx agent-roast demo 的真实输出,已缩短。场景是脚本化的;审查不是。 npx agent-roast demo # 十秒钟:在临时仓库中运行一个脚本化示例,不会读取你的任何东西 npx agent-roast # 审查你尚未提交的内容(在干净的树上:重放你最近的提交) 阻止你的编程 agent 这么做 npx agent-roast hook install # Claude Code、Codex 和 Cursor 对于 Claude Code 还有一个插件:/plugin install agent-roast --marketplace Nari-Ab/agent-roast。 当 agent 即将结束时,agent-roast 会审查它改动的所有内容。如果某项检查被削弱,agent 会被退回一次,附带文件、行号以及前后对比,并被要求去修复代码。如果它再次尝试,你会收到警告,而不是陷入无限循环。agent-roast 无法检查的任何内容都会让 agent 结束:它绝不会中断会话。有意的改动通过提交来接受。各 agent 的设置、它不做什么以及如何暂停它:docs/integrations.md。 agent hook 遵循每个 agent 文档化的 hook 协议,并用模拟的 hook 输入进行测试,尚未在每个 agent 的长时间实际会话中测试。欢迎反馈你所看到的情况。
.github/workflows/agent-roast.yml
name: Agent Roast on: pull_request permissions: { contents: read, pull-requests: write } jobs: audit: runs-on: ubuntu-latest steps:
- uses: actions/checkout@v4 with: { fetch-depth: 0 }
- uses: Nari-Ab/agent-roast@v1
with: { comment: true } # 一条评论,每次推送时更新;添加
advisory: true可在不使 PR 失败的情况下试用 另外:在任何 CI 中运行 npx agent-roast review --base origin/main,用 npx agent-roast init --hook 或 pre-commit 框架为下一次提交设置,以及用于代码扫描的 SARIF 输出。 策略从基础分支读取,因此 pull request 无法关闭审查它自身的规则。在做决定之前,npx agent-roast replay 会显示它对你最近 50 个提交会说些什么。 规则 触发条件 默认 assertion-weakened 一个精确检查被替换为更弱的检查:toBe(42) → toBeDefined(),assert x == 1 → assert x 阻止 guard-weakened 覆盖率阈值被降低,strict 被关闭,lint 规则被降级,CI 步骤可以失败,工作流停止运行测试 阻止 test-skip 测试被关闭:it.skip、@pytest.mark.skip、t.Skip、#[ignore]、@Disabled、[Ignore]、xit、... 阻止 test-focus, trivial-assert .only / fit;expect(true).toBe(true) 及其在十种语言中的同类 阻止 assertion-removed, test-removed, expectation-rewritten 测试丢失断言、消失,或其在生产代码旁的预期值被编辑 警告 swallowed-error, type-escape, stub-abandonment catch {} / except: pass,as any / # type: ignore,throw new Error("Not implemented") 警告 重命名、移动的测试、参数化、移动的断言和重新格式化会被识别且不会报告,依赖环境的跳过也不会(if testing.Short() { t.Skip() },test.skip(isMobile, ...))。JavaScript/TypeScript、Python 和 Go 获得完整的前后对比;跳过和占位断言还覆盖 Rust、Java、Kotlin、C#、Ruby、PHP 和 Swift;CI 和配置文件无论何种语言都会被检查。每条规则及示例和限制:docs/rules.md。 规则、严重级别和路径位于仓库根目录的 .agentroastrc.json 中(npx agent-roast init 会写入一个起始文件): "failOn": ["assertion-weakened", "guard-weakened", "test-skip", "test-focus", "trivial-assert"], "rules": { "type-escape": "off" }, "ignorePaths": ["/generated/"] 一个改动无法编辑此文件来放宽对自身的审查,因为它从 HEAD 或基础分支读取。要接受一个有意为之的发现,请添加一个会过期的例外,而不是关闭规则;要用基线采用现有项目而不被旧债阻塞:docs/reference.md。 经过测量,分母和注意事项见 docs/benchmarks.md。被削弱的检查很少见,大多是有意为之,且并非 AI 特有。agent-roast 是一个绊线,在检查被削弱之前保持沉默。 TDD Guard 和 Probity 通过 agent hook 强制执行一个流程(测试先行);aislop 扫描 11 种语言中广泛的「AI slop」;hallucinot、fakegreen 和 SlopGate 在 diff 中寻找相同的捷径;linter 和覆盖率门禁看到当前代码,但看不到某项检查被削弱了。agent-roast 收窄到一个问题,读取完整的前后对比,并说明它是如何测量的。这些工具大多互补。docs/comparison.md 有详细信息。 离线。没有网络请求,没有模型调用,没有遥测;一项测试会检查 bundle 中是否有网络模块。 只读取,从不运行。它读取 Git 对象(对于 --worktree 则读取仓库内的常规文件),从不执行项目代码、hook、diff 程序或包脚本。报告会对控制字符进行转义。 策略来自可信一侧。规则来自 HEAD 或基础分支,而不是来自被审查的改动。 对缺口保持诚实。不完整的扫描以退出码 2 退出,绝不显示「干净」。SECURITY.md 说明了如何报告问题。 它是一个审查辅助工具。它无法证明某个改动是谁写的,也无法证明代码是正确的,而且它读取的是文本,不是程序语义。 规则 · 集成 · 参考(命令、退出码、配置、例外、基线、限制) · 对比 · 测量 · 在你的仓库上试用 · 贡献 · 变更日志 发现了一个错误的发现,或者它漏掉了一个捷径?那是最有用的报告:open an issue。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。