返回资讯中心
外部精选
软件工程
#开发者实时流

工程效能评估在AI时代面临测量难题

来源标题:Engineering Vitals in the Age of AI

业界对AI是否真正提升软件开发效率尚无定论,现有评估方式分为两类:一类统计代码生成量、token消耗等活动指标,另一类只关注最终价值。LaunchDarkly提出以「每单位人力注意力产出的有价值软件」为目标,但价值往往在发布数周或数月后才显现,且难以量化人力注意力,目前缺乏可靠的衡量标准。

Hacker News 最新paulstovell2026/11/18 · 今天26 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

现在,每个工程组织都在被问同一个问题:AI 到底有没有让我们更擅长构建软件? 这个问题问得合理。我们在 token 和工具上花了真金白银,也在重塑团队的工作方式。我们理应能说清楚从中得到了什么。 我看到的答案大致分两类。第一类统计活动量:生成了多少行代码、消耗了多少 token、由 agent 编写代码的占比。第二类直接跳到终点,宣称唯一值得衡量的东西就是价值。 LaunchDarkly 最近发布的 Release Autopilot 公告是第二类的一个好例子。它描述了他们为自家 AI 软件工厂设定的目标:让每一小时人类注意力投入所换来的、真正到达客户手中的有价值软件最大化。 你如何统计有价值的软件?价值往往在变更上线数周或数月后才显现,而且是产品、设计、工程和销售共同做出的众多决策的产物。价值是一项团队运动。你又如何统计一小时的人类注意力?我可不想成为那个为注意力引入工时表的人。 那篇公告提供的证据值得一看。在工程师人数大致相同的情况下,每月合并的 pull request 翻了一倍多,花在重大和严重事故上的时间下降了约 70%。这些是吞吐量和稳定性指标。它们是很好的证据,而且比起价值,它们离 pull request 数量要近得多。 这篇文章讲的是我们在 Octopus 选择衡量什么,以及为什么。其中没有哪一项是革命性的。但有些确实与当前产品开发的潮流相悖。 “结果重于产出”是产品开发中被重复得最多的说法之一。结果最终确实是最重要的。但这个说法掩盖了我们如何抵达结果。 结果是通过持续交付产出来实现的。我们做出决策、发布东西、观察发生了什么、再次决策。这就是 OODA 循环。我们发布的第一样东西几乎从来都不是最有价值的东西。它帮助我们学习、转向或坚持,最终到达一个我们已经实现了大量价值的节点。 你不可能只发布一样东西就赢。你也有可能发布无数东西却赢不了。你必须产出东西并走完这个循环。 这就是价值发现循环。我们完成它的速度越快,随时间累积的价值就越多。 速度:我们完成价值发现循环的快慢。 价值发现循环的主要驱动者是谁?工程。 “但是 Besty,多亏了 Claude,现在我们的产品经理和设计师都在往产品里发布变更了!”你可能会这么说。恭喜他们——他们现在也是工程师了,他们的努力会体现在工程的各项生命指标里。 工程领导者的职责之一,就是为组织内的团队扫清障碍、赋能他们,让他们尽可能高效地发布。一旦工程师超过寥寥几人,如果没有某种数据支撑,你就没法拍着胸脯说自己履行了这项职责。 在 Octopus,我们多次停下来测量交付流水线中的某些环节,并发现了可以做出的健康优化。 你的生命指标应该让你洞察工程组织产出成果、维持服务级别目标的效率如何。它们会帮你超越“凭感觉”,更具体地看到你交付得如何、对组织成果贡献得如何。 AI 是一股颠覆性力量,在 Octopus,拥抱这种颠覆很重要。AI 是一根杠杆——它能帮我们实现更多、提供越来越好的客户体验,而不用显著增加成本。但更重要的是——我们的客户也在经历同样的颠覆。我们的客户就是工程师——他们日复一日地发布软件,大多数人正走在与 Octopus 相同的 AI 采用旅程上。要真正共情客户在这段旅程中的痛点,我们需要亲身经历它。 我们对软件工程走向的假设很简单:海量的变更。得益于 AI 带来的杠杆,两名工程师组成的团队已经成为常态,构建和发布所需的时间正在压缩。 我们正在重启工程的各项生命指标,因为我们的 AI 转型正在改变工作的形态。我在这里用“转型”一词并非夸张——这些变化确实是转型性的。我们需要知道,我们在 AI 驱动的开发生命周期中所做的改变,是否帮助我们更快地走完价值发现循环,同时维持我们的 SLO。 如果假设成立,以下是我们需要能够回答的问题: 这些问题帮助我们理解工程组织的效能,并在发现拖慢我们的因素时,帮助识别可以拉动哪些杠杆。 AI 采用有自己的一套指标,与我们的生命指标并列——我们会在另一篇博客文章中讨论这些。 我们把生命指标分为三个领域。 交付目标衡量交付流水线和反馈循环的效能。它们按系统度量,拥有该系统的团队设定服务级别目标(SLO)。 质量目标衡量我们交付内容的质量,以及开发者体验的质量。它们在整个组织范围内度量,由我作为 CTO 拥有这些 SLO。 趋势在整个组织范围内度量,并且刻意不设 SLO。我们采集它们是因为它们能给我们洞察,尤其是与目标一起解读时。 如果你了解 DORA 指标,这里的大部分内容看起来都很熟悉。不过,我要就 DORA 的指标挑一个刺——变更失败率对帮助你理解客户影响毫无用处。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →