
哈佛研究:AI编程代理将瓶颈转移至代码审查
来源标题:Harvard researchers find AI coding agents shifted the bottleneck to code review
哈佛博士候选人Fiona Chen和James Stratton基于718家公司的研究发现,采用AI编程代理的公司代码量增加约30%,但完成的工作量未见明显提升,代码通过审查的时间延长49%。该研究为工作论文,尚未完成同行评审。
以下正文由 AI 翻译自 Hacker News(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
编者按:根据哈佛大学博士候选人Fiona Chen与James Stratton撰写的一份工作论文(覆盖718家公司),采用AI编码代理的公司中,工程师编写的代码量增加了约30%,但完成的工作量并未显著上升,代码通过审查所需的时间却延长了49%。该论文属于求职市场论文,尚无迹象表明已完成同行评审,它衡量的是在起草速度加快之后,人工检查环节发生了什么。Harvey的动议驳回工作流和Cooley仍在与Google Cloud合作开发的脱敏代理,都在类似的环节保留了一名律师,而这两项公告均未报告对该审查阶段的度量。
对于eDiscovery、隐私与合规专业人士而言,这项研究为法律AI采购方提供了一种度量思路:在关注起草产出的同时,也应考虑获批的工作成果、修订率和审查者时间。研究还表明,AI生成的内容可能在协作系统中留下元数据,记录与法律保留程序可能需要触及这些元数据。请留意该论文的修订版本,以及任何公布审查阶段数据的法律供应商,同时记住该研究考察的是软件,而非法律工作。
对ComplexDiscovery OÜ近期文章《Harvard researchers find AI coding agents shifted the bottleneck to code review》所表达的定性效益,以正面接受度百分比形式作一简短的百分比评估。
新闻分析——人工智能板块
哈佛大学一份工作论文发现,采用AI编码代理的公司中,工程师编写的代码量增加了约30%,但完成的工作量并未显著上升,代码通过审查所需的时间却延长了49%。
在该研究的数据中,额外的编码并未带来可检测到的完成工作量上升,代码审查反而成了瓶颈。哈佛大学的两位博士候选人Fiona Chen与James Stratton在718家公司的725,938名员工中测量了这一模式。本月两项法律AI公告——Harvey的动议驳回工作流,以及Cooley正与Google Cloud合作开发的法院提交文件脱敏代理——都在类似的审查环节保留了一名律师,而两者均未报告对该环节的度量。
这一模式能承载多大分量,取决于数据来源。Chen与Stratton的研究基于Jellyfish的数据构建,该公司销售一款追踪工程活动的分析平台,并将其与Revelio Labs收集的LinkedIn雇佣记录相连接。样本时间跨度为2021年1月至2026年3月,覆盖同意将其数据用于研究的Jellyfish客户公司。论文的表格列出了6,830万个Jira议题、2.009亿次提交、4,910万个拉取请求和2,130万条日历事件,不过718家公司中只有213家提供了日历数据。
该研究采用交错双重差分比较设计,逐月追踪采用公司的结果相对于尚未采用公司的变化。此类比较的可靠性取决于采用时间存在差异的原因,而作者在此指出了一个法律与安全团队会感到熟悉的流程,因为他们本身就身处其中。论文称,时间安排主要取决于公司何时了解到这些工具,以及采购耗时多久,即寻源、法律与安全审批以及试点项目。一位受访者所在的公司约一天就批准了一款工具;另一位受访者称平均审批时间为6至12个月。
作者称这些采购延迟可能与公司增长速度无关,并据此认为比较早期与晚期采用者是合理的。他们承认存在一处已知的不平衡,即规模较大的公司采用得更早,并对公司规模进行了控制。作者表示,如果仍存在某些隐藏差异,那更可能让AI显得比实际更有生产力,而非相反。若偏差方向如此,那么产出持平的结果对AI而言反而是偏宽松的。
该论文当前版本日期为2026年8月4日,初版日期为1月7日。Chen将其作为求职市场论文传播,本文所审阅的版本中没有任何内容表明其已被期刊接受或完成同行评审。她的网站列出了《华尔街日报》和《经济学人》的报道链接,法律行业媒体本月也进行了跟进,包括Doug Austin于10月12日在eDiscovery Today上发表的一篇转述Ars Technica报道的文章。
鉴于这样的来源背景,编码方面的结果相当可观。每工人月新增代码行数较5,017的基线上升1,494行,约30%。提交量上升20%,拉取请求(即提交审查的代码包)上升23%。作者指出,这些估计反映的是代理在已拥有AI编码助手的公司中带来的额外效应,而非AI从零起步的效应。
产出正是增益止步之处。论文将已完成工作计为已解决的Jira议题,议题的代码部署到生产环境才算完成。代理使该指标在3.67的基线上每工人月变动0.12个议题,标准误为0.17。该结果在统计上与零无异,且95%置信区间排除了高于基线约12%的增长,远低于代码编写量30%的增幅。
作者测试了显而易见的退路。如果工程师转向了更大的任务,议题数持平就会低估真实产出。因此,研究人员用GPT-4o对0.5%的议题样本按规模打标签,并用文本嵌入模型将这些标签扩展到所有议题。他们发现议题平均规模没有变化,拉取请求也没有变大,作者据此排除了对审查环节所发生情况的最简单解释。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。