
哈佛研究:AI编程助手使代码量增三成,但评审时间延长49%
来源标题:Harvard researchers find AI coding agents shifted the bottleneck to code review
哈佛博士候选人研究发现,采用AI编程助手的公司代码提交量增加约30%,但完成工作量未显著上升,代码通过评审的时间延长49%。该工作论文覆盖718家公司,测量的是起草提速后人类审核环节的变化。研究建议法律AI买家将评审耗时和修订率纳入评估指标。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
编者按:根据哈佛大学博士候选人 Fiona Chen 与 James Stratton 针对 718 家公司撰写的工作论文,采用 AI 编码代理的公司,其工程师编写的代码量增加了约 30%,但完成的工作量并未出现可测量的增长,而代码通过审查所需的时间却延长了 49%。该论文属于求职论文,尚无迹象表明已完成同行评审,它衡量的是当起草速度加快后,人类检查点环节发生了什么。Harvey 的动议驳回工作流和 Cooley 仍在与 Google Cloud 共同开发的脱敏代理,都将律师置于类似的检查点,而这两项公告均未报告该审查阶段的衡量指标。
对于 eDiscovery、隐私与合规专业人士而言,这项研究为法律 AI 买家提供了一种衡量思路:在关注起草产出的同时,还应考虑已批准的工作成果、修订率和审查者时间。研究还表明,AI 生成的内容可能会在协作系统中留下元数据,而记录留存与法律保留程序可能需要触及这些元数据。请留意该论文的修订版本,以及任何公布审查阶段数据的法律供应商,同时记住该研究考察的是软件,而非法律工作。
对 ComplexDiscovery OÜ 近期文章《Harvard researchers find AI coding agents shifted the bottleneck to code review》所表达的定性效益,以正面反响百分比形式作出的简短评估。
新闻分析 – 人工智能板块
哈佛大学的一篇工作论文发现,采用 AI 编码代理的公司,其工程师编写的代码量增加了约 30%,但完成的工作量并未出现可测量的增长,而代码通过审查所需的时间却延长了 49%。
在该研究的数据中,额外的编码并未带来可检测到的完成工作量上升,代码审查反而成了瓶颈。哈佛大学的两位博士候选人 Fiona Chen 和 James Stratton 在 718 家公司的 725,938 名员工中测量了这一模式。本月有两项法律 AI 公告——Harvey 的动议驳回工作流,以及 Cooley 正与 Google Cloud 共同开发的法庭文件脱敏代理——都将律师置于类似的审查环节,而两者均未报告该环节的衡量指标。
这一模式能承载多大分量,取决于数据来源。Chen 和 Stratton 的研究基于 Jellyfish 的数据构建,该公司销售一款追踪工程活动的分析平台,并与 Revelio Labs 收集的 LinkedIn 雇佣记录进行了关联。样本时间跨度为 2021 年 1 月至 2026 年 3 月,覆盖了同意将其数据用于研究的 Jellyfish 客户公司。论文的表格列出了 6830 万个 Jira 问题、2.009 亿次提交、4910 万个拉取请求和 2130 万个日历事件,不过在 718 家公司中,只有 213 家提供了日历数据。
研究设计采用交错双重差分比较,逐月追踪采用公司的结果相对于尚未采用的公司发生了怎样的变化。这类比较的可靠性取决于采用时间存在差异的原因,而作者在此指出了一个法律与安全团队会很熟悉的过程,因为他们本身就身处其中。论文称,时间安排主要取决于公司何时了解到这些工具,以及采购耗时多久,即采购、法律与安全审批以及试点项目。一位受访者所在的公司在大约一天内就批准了一款工具;另一位受访者则将平均审批时间估计为 6 到 12 个月。
作者称这些采购延迟可能与公司的增长速度并无关联,他们认为这支持了对早期采用者与晚期采用者进行比较。他们承认存在一个已知的不平衡,即规模较大的公司采用得更早,并对公司规模进行了控制。作者表示,如果仍存在某些隐藏差异,它更可能让 AI 显得比实际更具生产力,而非相反。若偏差方向如此,那么产出持平的结果对 AI 而言反而算是宽容的。
该论文当前版本日期为 2026 年 8 月 4 日,初版日期为 1 月 7 日。Chen 将其作为求职论文传播,本文所审阅的版本中没有任何内容表明其已被期刊接收或完成同行评审。她的网站列出了《华尔街日报》和《经济学人》的报道链接,法律行业媒体本月也跟进了报道,包括 Doug Austin 于 10 月 12 日在 eDiscovery Today 上发布的一篇转述 Ars Technica 报道的文章。
考虑到这样的出处,编码方面的结果相当可观。每工人月新增代码行数从 5,017 的基线上升了 1,494 行,增幅约 30%。提交量上升了 20%,而拉取请求(即提交审查的代码包)上升了 23%。作者指出,这些估计反映的是在已有 AI 编码助手的公司中,代理带来的额外效应,而非从零开始使用 AI 的效果。
产出正是增益止步之处。论文将已完成工作定义为已解决的 Jira 问题,而一个问题在其代码部署到生产环境后才算完成。代理使该指标在 3.67 的基线上每工人月变动了 0.12 个问题,标准误为 0.17。该结果在统计上与零无法区分,而 95% 置信区间排除了高于基线约 12% 的增长,远低于代码编写量 30% 的增幅。
作者检验了显而易见的规避解释。如果工程师转向了更大的任务,问题数量持平就会低估实际产出。因此,研究人员用 GPT-4o 对 0.5% 的问题样本按规模进行了标注,并用文本嵌入模型将这些标签扩展到每一个问题。他们发现平均问题规模没有变化,拉取请求也没有变大,作者据此排除了对审查环节所发生情况的最简单解释。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。