
工程团队将代码审查逐步交给AI代理,合并请求中云代理占比升至38%
来源标题:Building a Software Factory
engineering团队将代码交付流程逐环节交给AI代理后,10月由云代理发起并合并的拉取请求占比达38%,而6月仅为0.1%。但代理写代码增多也带来审查瓶颈,核心API仓库中人工审查代理代码的比例夏季增至约五分之一,等待人工批准的拉取请求数量翻倍。9月至11月中旬,首次批准的中位等待时间有所下降。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
AI 让写代码变快了,但审查代码却成了我们工程师的瓶颈。下面是我们如何一步步把交付流水线交给 agent,以及数据说明了什么。
每个月,agent 编写的代码占比都在上升,PR 审查队列也随之变长。审查 bot 能发现问题,但每发现一个问题,改动就要退回再走一轮审查,最终 PR 仍然要等人来批准。今年夏天,在我们核心 API 仓库中,人工审查花费在 agent 编写代码上的比例增长了两倍多,达到约五分之一,而等待人工批准的 PR 数量翻了一番。
Anthropic 工程师 Felix Rieseberg 的《How to be more ambitious》启发了我们向前看。我们没有要求 agent 写出更好的改动,而是测试它们能否接管软件交付的每个阶段,并在查看结果之前就定好每个交接环节的评判标准。OpenAI 也描述过一个从空仓库构建产品时的类似转变。
10 月,云端 agent 驱动了我们合并的 PR 中的 38%,而 6 月这一比例仅为 0.1%。9 月到 11 月中旬,首次批准的中位等待时间从两个多小时降到约五分钟,我们每周合并的 PR 数量翻了一番多。由 agent 批准的改动被回滚的频率并不高于人工批准的改动。
从任务到上线之间的七个环节。审查是指阅读改动并要求修复;批准是允许合并的签字放行。agent 已经在帮助完成第一项;下面每一步都是把下一项工作交给它们。
年初时,工程师挑选任务,提示 agent 编写代码并提交 PR,然后等待 CI,再把问题交回给 agent。接着他们找同事来审查。改动合并后,主分支可能被破坏,谁先发现谁就得找到原因并向前修复或回滚。QA 也是手工完成的。这些步骤之间的每次交接都是人的工作,所以 agent 写的改动越多,转给工程师的工作就越多。
问题:agent 写一个改动可能帮我们省下一小时的打字时间,却留下一下午的清理工作——修复不稳定的测试、lint 失败、合并冲突和审查意见。
我们构建了什么:一个内部服务,在云端运行编码 agent,并跟踪每个 PR 直到它变绿。你给它一个任务并批准计划,然后 agent 编写改动、提交 PR、重跑 CI、修复测试、回复审查意见并 rebase。
我们如何知道它有效:到第三个月,该服务处理了我们 38% 的 PR,而且我们的 agent 也几乎不需要人工干预。在 11 月上半月合并的 100 个 agent PR 样本中,有 78 个没有任何人工提交。
每月合并的 agent 驱动 PR 数 6月 2 | 7月 | 8月 | 9月 592 | 10月 3,130 | 11月 ≈3,200
从 6 月的两个 PR 到每月超过 3,000 个。七个仓库。11 月数据根据目前为止的日均值推算。10 月 agent 驱动的合并占全部合并的 38%,11 月到目前为止占 30%。这是一个下限:我们只统计能归因于 agent 的 PR。
同一条路,不用人走。人把任务交给 agent 一次,agent 就自己把它推进到一个变绿的 PR。在审查环节之前,交接计数保持为零——审查时改动才等待人来处理。
瓶颈转移到了哪里
agent 产出可供审查的 PR 的速度超过了人阅读它们的速度,于是审查成了下一个要交接的环节。
问题:我们的第三方审查 bot 缺乏上下文,工程师们学会了略过它,仍然自己阅读每一个改动。
我们构建了什么:一个 AI 审查器,拥有与编写代码的 agent 相同的上下文,包括计划、diff 及其周围的代码。通常作者是另一个 agent,所以改动会在编码 agent 和 AI 审查器之间来回往返,直到干净为止。
我们如何知道它有效:在我们核心 API 仓库中,11 月上半月 AI 审查器的评论线程有 93% 被解决或促成了代码改动,高于 9 月的 84%。9 月底的一次重建把每次审查的成本降到约三分之一,同时每周审查量增加了。
234 | 8月10日 | 9月7日 | 10月5日 | 11月2日 3,177
核心 API 仓库每次审查的成本 8月10日 | 9月7日 98 | 10月5日 | 11月2日 30
每周审查量是 8 月的十倍以上,每次成本约为三分之一。按周统计,8 月 10 日至 11 月 9 日。审查量包含 10 月启用的两个仓库。9 月 28 日当周的成本下降来自重建后的审查器。
瓶颈转移到了哪里
PR 经过 AI 审查后已可合并,但仍要等上几个小时才有人点击批准。
问题:让 AI 审查器批准可以清空队列,但这意味着代码会在没有人阅读的情况下合并。在迈出这一步之前,我们需要证明 AI 批准与工程师的判断一致。
我们构建了什么:基于风险的批准。一个独立的 agent 给每个 PR 评级为低、中或高风险,不确定时就向上取整,评级决定谁可以批准它。起初我们让 AI 自行批准低风险改动,以及在仓库允许的情况下批准中风险改动。高风险改动交由人处理,代码所有者仍要签核我们代码库中的关键区域,比如数据库迁移、密钥和认证。
我们一开始让审查器与人工并行批准,并跟踪人工提出异议的频率。10 月中旬,我们允许仅凭 AI 批准就合并 PR。在 9 月和 10 月,它批准的 977 个 PR 中只有 15 个被人提出异议,约 1.5%,该日期前后比例大致相同。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。