返回资讯中心
外部精选
软件工程
#开发者实时流

Aether Review 在 Greptile 基准测试中捕获 84% 的已知缺陷,超过 Greptile

来源标题:Would you use this as the new Conductor Cloud?

Aether Review 在 Greptile 公开的 50 个真实缺陷基准测试中捕获 42 个,捕获率 84%,高于 Greptile 自身实测的 35 个。测试基于五个生产代码库的 50 个曾引入缺陷的真实 PR,评审和评分过程均公开。Greptile 官方页面声称捕获 41 个,但其实际重测结果为 35 个。

Hacker News 最新xbartlet2026/11/19 · 今天30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

Greptile 的公开基准测试把 AI 代码审查工具放到来自五个生产代码库的 50 个真实 bug 上。我们用 Aether Review 的默认设置跑同样的 pull request,按照 Greptile 公布的规则手工给 Aether 的审查和 Greptile 自己的审查打分,并用 Martian 的评判器测精确率。每一条审查和每一个打分决定都是公开的。

查看每一条审查 按照 Greptile 公布的规则手工打分:在有缺陷的改动上留下行内评论,指出缺陷并正确说明其机制。每一个打分决定都在 GitHub 上 Aether 捕获率 84% 50 个已知 bug 中捕获 42 个 按同样方式打分,Greptile 捕获了 35 个。它自己的页面声称是 41 个。 每个工具在 50 个已知 bug 中通过行级审查评论捕获的比例。 Greptile 发布了一项基准测试,用五个 AI 代码审查工具审查来自开源代码库的 50 个 pull request。每个 PR 都是一次真实改动,它引入了一个 bug,后来被某个提交修复,然后被重新作为一个新的 pull request 打开。我们用 Aether Review 的默认产品设置跑同样的 50 个 PR。 评分只问一个问题:工具找到 bug 了吗?一次捕获是指在有缺陷的改动上留下行内评论,指出缺陷并正确说明其机制。只标出代码行但说代码是安全的,或者声称是另一个问题,都不算数。误报、风格建议和无关评论不影响捕获率,所以本页也报告 Martian 评判器下的精确率。 每一条审查都是一个公开的 pull request,所以你可以打开矩阵中的任意一个方格或案例库中的任意一个标记,自己判断。打分决定,以及对每一个主观判断的标记,都在 GitHub 上。 严重程度按 Greptile 公布表格中的标注。 数据集是 Greptile 的:五个开源仓库,五种语言,每个仓库十个 bug 修复 PR,追溯到引入 bug 的提交。每个案例都是一个全新的 PR,在一个干净的分支上重新打开原始改动,并拥有完整仓库访问权限;对于其中 35 个对应上游 pull request 的案例,基准 PR 使用该 PR 自己的 base 和 head 提交,因此审查的 diff 就是原始改动。 Aether Review 是 Codex gpt-6-astra 在高推理模式下运行一个审查提示词,下面链接的是 Codex 收到的版本,在运行前已冻结。该提示词会获取一个脚本来构建上下文包,除此之外只调用默认规则的现成分析器;没有其他脚本。它在同样的 PR 的 50 个新分支上运行,每个分支发布一条审查,时间从 10 月 13 日 01:09 UTC 到 10 月 14 日 00:53 UTC。一次审查会为每个 hunk 构建一跳上下文包,用默认规则集的现成静态分析器寻找线索,用六个独立审查器通道和一个审计器读取每个 hunk,让文件负责人通读每个改动文件,然后按根因合并发现,形成一条最多 30 条行内评论的已发布审查。 一个 pull request 被计为捕获,当其已发布的审查在有缺陷的改动上有行内评论,指出缺陷并正确说明其机制。我们还尝试了一条宽松规则,即给解释机制但说代码安全的评论计分;它在任何报告的运行中都没有改变任何 PR 的结果。两个工具由同一双手打分,任何另一位评分者可能合理拒绝的判断都在决定文件中带有标记。 Greptile 一侧是它的机器人在基准分支上的公开评论,于 2026 年 10 月 19 日读取,并按同样规则打分。Bugbot、Copilot、CodeRabbit 和 Graphite 显示的是 Greptile 在 2025 年 7 月给它们打的分。 每个链接都固定到一个提交,所以它显示的内容不会改变。 审查提示词,版本 22,Codex 收到的文本,在运行前冻结 context_pack.py,提示词获取的唯一脚本,运行时的提交 决定文件,每个 pull request 一条打分记录,带有注意事项引用的标记 运行说明,每个提示词版本,改了什么、放弃了什么 测试数据集 每个仓库十个 bug 修复 pull request。 SentryPython错误跟踪和性能监控Aether 7/10 Cal.comTypeScript开源调度基础设施Aether 8/10 GrafanaGo监控和可观测性平台Aether 10/10 KeycloakJava身份和访问管理Aether 8/10 DiscourseRuby社区讨论平台Aether 9/10 注意事项 没有留出集。二十二个提示词版本都是针对这 50 个 PR 开发的。每次报告的运行都是在运行前冻结的文本的新分支上进行的,但该文本受到了同一批 PR 上早期运行的影响,一些通用规则是在具体漏报之后添加的。请把这些数字视为样本内结果。 精确率。捕获率不衡量精确率。这 50 条审查发布了 737 条行内评论(35 条 P1、320 条 P2、382 条小问题),中位数为每条审查 13 条,约为 Greptile 的三倍。在 Martian 的评判器下,它将每条评论与 173 条黄金评论对比打分,Aether 的召回率为 0.77,精确率为 0.14,在六个被评判工具中最高和最低:772 条评论没有匹配任何黄金评论,约每个 PR 15 条。对其中六十条进行代码检查后发现,大多数高一致性评论是黄金集之外的真实缺陷,而大多数只有单个审查器提出的评论是次要的或错误的。 主观判断。Aether 的 42 次捕获中有 11 次在决定文件中被标记为另一位评分者可能拒绝的判断,主要是评论锚点偏离了有缺陷的行一个调用,或者对缺陷的表述与黄金评论不同。去掉这些后计数为 31。 有争议的目标。在 5 个 PR 上,Greptile 对 bug 的一行描述既与其自己的分支不符,也与 Martian 的副本不符。我们给代码实际存在的缺陷打分;Aether 捕获了其中 4 个。把全部 5 个都计为漏报则为 38。 单一评分者。Greptile 的 41 是它对自己的打分。Greptile 的 35 和 Aether 的 42 是我们的打分,由编写 Aether 提示词的团队完成。每个决定文件都记录了哪条评论匹配哪条黄金评论,所以每个判断都可核查。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →