返回资讯中心
外部精选
软件工程
#开发者实时流

哈佛博士生研究:采用编程智能体后拉取请求增36%,合并时间延长56%

来源标题:Thirty-Six Percent More Pull Requests, Fifty-Six Percent Longer to Merge

哈佛博士生Fiona Chen与James Stratton的论文利用Jellyfish平台2021年1月至2026年8月、覆盖655家公司72万余名开发者的数据发现,采用编程智能体后拉取请求数量增加36%,合并所需时间延长56%。该效应是在此前已使用Copilot等编程助手的基础上额外测得的。研究采用交错双重差分设计,比较早采用与尚未采用智能体的公司。

Hacker News 最新jwilliams2026/11/19 · 今天29 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

Fiona Chen 和 James Stratton 是两位哈佛博士生,他们写了一篇求职论文,题为《企业中的人工智能:软件生产的瓶颈》。该论文最初于今年一月流传,Chen 网站上版本的日期是 11 月 14 日。本周它通过一篇引用了八月草稿的报道登上了 Hacker News。那份草稿中,代码行数上升约 30%,合并时间上升 49%。当前版本的数字不同,样本也略有差异。我全文采用当前版本。

数据来自 Jellyfish,一个工程分析平台。它覆盖了 2021 年 1 月至 2026 年 8 月间 655 家公司的 720,542 名员工:2.976 亿次提交、5410 万个 pull request 和 7310 万个 Jira issue。研究设计采用交错双重差分。较早采用编码 agent 的公司与尚未采用的公司进行比较,论文认为时间差主要来自采购耗时。有一个细节对理解下文所有 agent 数字都很重要:agent 效应是在此前已采用 Copilot 等编码助手的基础上衡量的。它是 agent 带来的额外效应,而不是 AI 从零开始的效应。

核心结论就在标题里。代码量上升了,完成的软件上升得少得多,而差异显现的地方是评审环节。

以下是公司采用 agent 十二个月后的情况,以采用前均值为基准,沿生产链向下看。

打开的 pull request 上升 35.7%,基线为每工人月 4.83 个。合并的 pull request 上升 26.0%。已解决的 Jira issue——论文在相关代码部署时才计入——上升 13.7%。最后这个估计不显著,其置信区间上限为 30.7%。所以即便按最宽松的算法,数据也排除了已交付任务与 pull request 同步增长的可能。

论文检查了 issue 是否只是变大了,用模型根据文本预测每个 issue 需要多长时间。结果发现平均预测长度没有变化。论文还检查了 pull request 是否变大,发现每个 pull request 的新增行数没有显著变化。所以下降并不是因为计量单位被重新定义。在“打开”和“交付”之间,有某个环节在吸收工作量。

合并率最直接地说明了这一点。在使用 agent 之前,这些公司打开的 pull request 中有 86.1% 被合并。使用 agent 之后,公司每工人月多打开 1.73 个 pull request,多合并 1.08 个。

论文将新增 pull request 的合并比例定为 62.7%。其余三分之一要么被关闭,要么仍在等待,而评审时钟说明其中很大一部分在等待。

论文的主要评审指标是从 pull request 提交到合并的天数。采用 agent 一年后,该指标在 3.56 天的基线上上升了 1.99 天,即 56.1%。对于至少收到一条评论的 pull request,论文将这段时间拆成两段。积压期从提交到作者以外的人给出第一条评论。活跃评审期从第一条评论到合并。

这种拆分很有用,因为它区分了两种解释。如果只是评审者更忙了,积压期会增长。如果 agent 写的代码每个 pull request 需要更多加工,活跃评审期会增长。两者都增长了,分别为 59.9% 和 58.5%。每个 pull request 的评论数从 1.63 上升 38.6%。正式变更请求从 2.77% 的低基数上升 38.5%,不过该估计在边际上不显著。

把时钟和到达率结合起来,你会得到一个论文没有印出来的数字。Little 定律说,系统中物品的平均数量等于到达率乘以每个物品在系统中停留的平均时间。它对任何稳定的队列都成立,无论到达模式如何。如果 pull request 的到达速度是原来的 1.357 倍,且在提交到合并之间停留的时间是原来的 1.561 倍,那么积压在评审中的 pull request 存量约为原来的 1.357 × 1.561 ≈ 2.1 倍。这是一个粗略数字。时间是在已合并的 pull request 上测量的,一家公司在采用一年后可能并未处于稳态,而对公司取均值也不等于一个队列。但方向是清楚的:按每位工程师计算,任一时刻都有大约两倍的未合并代码处于打开状态。

排队论也解释了为什么等待时间的增长可以快于负载。J. F. C. Kingman 在 1961 年关于单服务器队列的论文中写道,当流量强度接近 1 时,“队列会很长,排队时间会很大。”以他名字命名的近似公式中,平均等待时间按 1/(1−ρ) 增长,其中 ρ 是服务器繁忙时间的比例。一个有一半时间繁忙的评审者,工作量增加三分之一后繁忙度变为三分之二,按该近似,其平均等待时间上升一半,而不是三分之一。一个繁忙度为 80% 的评审者根本无法吸收这额外三分之一。这就是为什么我不觉得 56.1% 令人意外。如果评审能力大致固定,而到达量上升了三分之一,等待时间上升超过三分之一就是预期结果。

论文的结构模型说能力并未保持固定。它估计 agent 将编码生产率提高了 73.7%,将评审生产率降低了 7.0%,并估计公司相应调整了劳动力:编码劳动力减少 22.7%,评审劳动力增加 43.4%。这些是模型估计,不是观测值。如果它们是对的,公司已经把大量精力转移到评审上,而等待时间仍然上升了一半以上。

软件工程研究者研究评审延迟已经二十年了。他们的工作解释了其中的机制,也说明了像 3.56 天这样的数字能承载多少分量。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →