返回资讯中心
外部精选
软件工程
#社区热议

工程团队如何衡量AI对软件开发的实际提升

来源标题:Engineering Vitals in the Age of AI

业界正争论如何衡量AI对软件工程的真实价值:一类指标统计生成代码行数、token消耗等活跃度,另一类则只关注最终价值。LaunchDarkly提出的目标是最大化每小时人类注意力所产出的有价值软件,但价值往往在发布数周后才显现且涉及多团队协作,难以量化。

Hacker Newspaulstovell2026/11/18 · 今天26 分钟阅读

以下正文由 AI 翻译自 Hacker News(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

每个工程组织现在都被问到同一个问题:AI 真的让我们更擅长构建软件了吗?

这个问题问得合理。我们在 token 和工具上投入了真金白银,也在重塑团队的工作方式。我们理应能够说清楚从中得到了什么。

我看到的答案往往分成两派。第一派统计活动量:生成了多少行代码、消耗了多少 token、由 agent 编写的代码占多大比例。第二派则直接跳到终点,宣称唯一值得衡量的东西就是价值。

LaunchDarkly 最近发布的 Release Autopilot 公告就是第二派的好例子。它描述了其为 AI 软件工厂设定的目标:让每一小时人类注意力投入所换来的、真正触达客户的有价值软件最大化。

你怎么统计有价值的软件?价值往往在变更上线数周或数月后才显现,而且是产品、设计、工程和销售多方决策共同作用的产物。价值是一项团队运动。你又怎么统计一小时的人类注意力?我可不想当那个为注意力引入工时表的人。

那篇公告提供的证据值得一看。在工程师人数大致相同的情况下,每月合并的 pull request 翻了一倍多,重大和严重事故的处理时间下降了约 70%。这些是吞吐量和稳定性指标。它们是很好的证据,而且相比价值,它们更接近 pull request 计数。

这篇文章讲的是我们在 Octopus 选择衡量什么,以及为什么。其中没有什么革命性的东西。但有些内容与当前产品开发的潮流相悖。

“结果重于产出”是产品开发中被重复得最多的说法之一。最终真正重要的确实是结果。但这句话掩盖了我们如何抵达结果。

结果是通过持续交付产出来实现的。我们做决定、发布东西、观察发生了什么、再做决定。这就是 OODA 循环。我们发布的第一样东西几乎从来都不是最有价值的东西。它帮助我们学习、转向或坚持,最终抵达一个我们已经实现了大量价值的节点。

你不可能只发布一样东西就赢。你也可能发布无数东西却依然赢不了。你必须产出输出,并走完这个循环。

这就是价值发现循环。我们完成得越快,随时间积累的价值就越多。

速度:我们完成价值发现循环的快慢。

价值发现循环的主要驱动者是谁?工程。

“但是 Besty,如今多亏了 Claude,我们的产品经理和设计师都在给产品提交变更了!”你可能会这么说。恭喜他们——他们现在也是工程师了,他们的努力会体现在工程的各项生命体征里。

工程领导者的职责之一,就是为组织中的团队扫清障碍、赋能他们,让他们尽可能高效地交付。一旦工程师人数超过寥寥几个,你就不能拍着胸脯说自己履行了这一职责,除非有某种数据支撑。

在 Octopus,我们多次停下来衡量交付流水线中的某些环节,并发现了可以做出的健康优化。

你的生命体征应该让你洞察工程组织产出输出的有效性,以及维持服务级别目标的情况。它们会帮你超越“感觉”,更具体地看清你交付得如何、对组织的结果贡献得如何。

AI 是一股颠覆性力量,在 Octopus,积极拥抱这种颠覆很重要。AI 是一根杠杆——它可以帮我们实现更多,提供越来越好的客户体验,而无需显著增加成本。但更重要的是——我们的客户也在经历同样的颠覆。我们的客户就是工程师——他们日复一日地交付软件,大多数人正处于和我们 Octopus 相同的 AI 采用旅程中的某个位置。要真正共情客户在这段旅程中的痛点,我们需要亲身经历它。

我们对软件工程走向的假设很简单:压倒性的变更洪流。拜 AI 带来的杠杆效应所赐,两名工程师组成的团队已经成为常态,构建和交付所需的时间正在压缩。

我们正在重启工程生命体征,因为我们的 AI 转型正在改变工作的形态。我在这里用“转型”一词并不夸张——这些变化确实是变革性的。我们需要知道,我们在 AI 驱动的开发生命周期中所做的调整,是否在帮助我们更快地走完价值发现循环,同时维持我们的 SLO。

如果假设成立,以下是我们需要能够回答的问题:

这些问题帮助我们理解工程组织的有效性,并在发现拖慢我们的因素时,帮助识别可以拉动哪些杠杆。

AI 采用有它自己的一套指标,与我们的生命体征并列——我们会在另一篇博客文章中讨论这些。

我们把生命体征划分为三个领域。

交付目标衡量交付流水线和反馈回路的有效性。它们按系统衡量,拥有该系统的团队设定服务级别目标(SLO)。

质量目标衡量我们交付内容的质量,以及开发者体验的质量。它们在整个组织范围内衡量,由我作为 CTO 拥有这些 SLO。

趋势在整个组织范围内衡量,并且刻意不设 SLO。我们采集它们是因为它们能提供洞察,尤其是与目标对照阅读时。

如果你了解 DORA 指标,这里的大部分内容看起来会很熟悉。不过有一个地方我要专门跟 DORA 的指标较劲——变更失败率对于帮助你理解客户影响毫无用处。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →