
开发者实测五款AI代码审查工具,性能差异显著
来源标题:You're paying too much for code review
一名开发者用47个PR、95次推送实测了Greptile、CodeRabbit、Cursor Bugbot、Kodus和Mjolnir五款AI代码审查工具,发现各工具在发现实质性问题上的表现差异明显。测试基于Rust缓存项目Mr. Boxington,平均每个PR在合并前被审查两次。所谓实质性问题主要指用户可观察的错误行为,也包括性能回退和测试未测到关键点。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
我八月份写过,人类不该再把时间花在读代码上了。(TLDR:机会成本不划算。)
但这不代表你要彻底放弃代码审查。它只意味着,应该让 agent 来执行审查(以及其他形式的 agentic QA)。可问题是,用哪个 agent?提供托管代码审查服务的公司,多到你数都数不过来。
于是我采用了不科学但很流行的做法:翻手边现成的数据,具体来说,就是提交到 Jeff Dickey 那个 Rust 缓存项目 Mr. Boxington 的 PR(每个写 Rust 的开发者都该用这个项目)。
Jeff 接入了三款审查产品:Greptile、CodeRabbit 和 Cursor Bugbot,它们对开源项目都有慷慨的免费方案。我还测了开源的 Kodus 审查器,它提供低成本的 bring-your-own-keys 托管方案,也支持自托管;另外还测了 Mjolnir 的 in-harness 审查。
以下是它们在 47 个 PR 的 95 次 push 中的表现(也就是说,平均每个 PR 在合并前审查了两次 push):
“实质性问题”主要指不正确的、用户可观察到的行为,但也包括性能回退,或者测试并没有测它声称要测的东西。误报则包括“该问题被认为不重要、不必修”,以及真正错误的发现。
简而言之:所有系统都能找出实质性问题,而不会淹没在吹毛求疵里;半年前那个问题已经解决了。
Mjolnir 和 Kodus 都由 DeepSeek Flash(high effort)驱动,但 Kodus 塞进了大量额外的上下文和结构,而 Mjolnir 只是用原版 DeepSeek-Harness,加上一段从 Codex 的 /review 命令里拿来的 prompt。
为了搞清 Kodus 是怎么把 DSF 用得更糟的,我和 Opus 一起翻看了 Kodus 的代码,发现了一堆问题,但没有哪一处明显像是“只要修了这个,Kodus 就能胜过更简单的设计”。
事实证明,一个配上 bash 的聪明模型,在代码审查上和在写代码上一样难以击败。(Mjolnir 在大约一个月前还有一个更复杂的审查器,带多个 subagent 和花哨工具;2026 年初这确实提升了审查质量,但用现代模型重新测试后,相比这里测试的简单方案,没有发现任何改进。)
Mjolnir-powered-by-DSF 的表现大致与 Greptile 相当,价格却只有后者的约 1/20。应该有人把它做成一项服务,提供给那些想让审查跑在 CI 里、而不是跑在编码 harness 里的团队。
每个审查器都发现了其他审查器没发现的缺陷。事实证明,同一个审查器多跑几遍也能找回其中不少;下面是 Mjolnir 审查的情况:
显然存在边际递减,但“并行跑多次审查、把发现合并起来”似乎是个被低估的选项。那如果你钱多得没处花呢?
我之所以把 DeepSeek Flash 作为 Mjolnir(以及 Kodus)的审查模型来展示,是因为按 API 价格算,它在成本:智能的谱系上位置独特。但如果你愿意多花钱,能拿到更好的审查吗?
答案是:不能。DeepSeek 在代码审查上强得离谱。但如果你愿意接受稍少一些的 bug 被发现,Terra 的速度快 6 倍,成本也明显更低。(因为 DeepSeek 在缓存命中定价上的巨大优势,在相对短暂的代码审查会话里没那么重要,而 Terra 在输出 token 上的节省更有意义。)
把 agentic 审查加进你的开发流程,几乎肯定能以极小的投入抓到真实的 bug;你可以花一大笔钱买托管服务,也可以用 Codex 的 /review,效果一样好、便宜得多。如果你不用 Codex,或者想让自己的 harness 在 push 前自动跑一次审查,试试 Mjolnir。经过这次评估,我们已把它的默认值更新为两次并行审查,Auto 模型的优先级顺序更新为 Terra > DSF > Haiku。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。