返回资讯中心
外部精选
软件工程
#开发者实时流

Thoughtworks专家提出:应把AI编程助手的测试契约写进测试数据

来源标题:Ensuring AI-generated code does what we want

Thoughtworks技术负责人Matteo提出,当AI同时编写生产和测试代码时,开发者应把与AI之间的契约从测试代码转移到测试数据中,以防编程代理意外修改。他认为AI让DSL解析器和自定义测试运行器变得廉价,可结合极限编程的客户验收测试、Fit的测试DSL等既有实践,构建人类可读的测试契约。

Hacker News 最新saikatsg2026/11/11 · 6 天前30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

以数据形式呈现的测试

确保 AI 生成的代码按我们的期望运行

在 AI 编程助手时代,自动化测试面临一个棘手的问题:当 AI 智能体同时编写生产代码和测试代码时,开发者有可能失去自动化测试本该提供的对功能错误的保障。我提出三个观点:(1)当 AI 编写代码时,开发者就成了它的客户;(2)因此,客户测试而非开发者测试,成为人与 AI 之间的主要契约;(3)把这份契约从测试代码转移到测试数据中,更容易防止编程智能体对它做出意料之外的修改。所有这些都围绕一个目标优化:让测试对人类可读,从而在人与 AI 之间建立契约。过去,编写和维护 DSL 解析器和自定义测试运行器的成本很高,如今 AI 让这些变得廉价。我的做法建立在已有的实践之上:极限编程中面向客户的验收测试、Fit 中的测试 DSL 与实例化需求(specification by example)、Go 中的表驱动测试,以及审批测试中应用状态的可读文本表示。

Matteo 是 Thoughtworks Italia 的开发者兼技术负责人。他乐于看到极限编程帮助团队和企业取得成功。

2026 年初,我对 26 名开发者做了访谈,他们所在的组织大量使用 AI 编程智能体进行开发。我的问题之一是“你信任我们的测试吗?”毕竟,这些开发者来自 Thoughtworks,而 Thoughtworks 一向以测试的质量和严谨程度为傲。遗憾的是,开发者们的回答无一例外都是:“嗯……我不太信任我们的测试!因为即使测试在最初生成时我审查过,但随着新功能不断加入,AI 会同时重构现有代码和现有测试,所以我不再确信这些测试是否仍在保障正确的行为。”

这引发了我的思考。随着我们学会让编程智能体完成更多工作,AI 编写大部分乃至全部测试正变得理所当然。开发者编写自动化测试,是 20 世纪末软件工程的一项重大突破。最实用的做法是先写测试再写代码(测试先行),并且一次只编写一个测试并使其通过(测试驱动开发)。这一实践让开发业务软件的团队能够交付几乎无缺陷的代码,而成本只是形式化规格说明与证明的一小部分。

到了 2026 年,大量代码由 AI 编程智能体编写,而这些智能体即使不被要求也会生成测试,于是人们或许会期望,我们能达到人类程序员使用 TDD 时所享有的同等正确性水平。遗憾的是,实际情况并非如此,这已是普遍经验。事实上,2026 年初已有若干报告显示,各组织部署的代码质量正在变差。

我无法确切知道这种被广泛报道的外部质量下降的原因是什么,但我认为,其中一个可能的原因,是自动化功能测试的质量下滑。

当我们赋予 AI 高度自主权来生成代码时,我们就需要信任 AI 能写出好的测试,因为手工编写全部测试这一替代方案已不再现实。让我们回到那些开发者的困扰:当 AI 重构测试后,他们就不再信任这些测试了。AI 为什么要重构测试?最可能的原因是,随着代码演进,函数的签名发生了变化,而这是开发过程中预料之中的事,所以 AI 这样做并不“错”。但阅读 AI 生成的测试代码比阅读 AI 生成的生产代码还要枯燥,因此指望开发者在每一步都仔细重读所有改动过的测试代码,并不现实。

AI 生成的测试还有另一个问题:它们可能与实现紧密耦合。如果我们要求编程智能体“用单元测试覆盖模块 X”,它会乐于生成大量测试,而这些测试往往使用大量 mock 和 stub。测试的目的是在代码返回错误结果或产生错误副作用时失败。遗憾的是,大量使用 mock 和 stub 的测试,往往在被 mock 和 stub 的代码实现发生变化时就会失败,即使这种变化只是保持正确性的无害重构。因此,这类测试会产生大量误报。更糟的是,这些测试可能并不能让我们相信:当代码做错事时它们能保护我们。这些测试不是证明“当输入为 X 时,输出必须为 Y”,而可能只是证明“当我们调用函数 A 时,它会调用函数 B”——这毫无用处,因为它并没有证明代码会产生正确的结果。事实上,当我们要求 AI 用测试覆盖某个东西时,我们希望测试能规定正确的行为,但大多数情况下,AI 编写的测试只是确认当前的实现,包括其中可能存在的任何 bug。

所以总的来说,AI 生成的测试之所以常常有问题,原因在于:

我们可以强制要求由人类开发者编写全部测试,并且写出好的测试,但这会抵消编程智能体预期经济收益的大部分,而且考虑到软件工程的发展方向,这并不现实。但如果有一种编写测试的方式,对人来人来说读写都容易得多呢?这正是接下来要讨论的内容。

许多 AI 辅助开发都采用某种形式的规格驱动开发(spec-driven development):供应商推荐这种做法,一些 SDD 框架也非常流行。虽然有一点似乎很清楚:在开发之前就与 AI 对齐……

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →