
QuickReview 集成隐式状态机审查,在 34 个 PR 中识别出 85% 的已知状态缺陷
来源标题:Implicit state machines hide bugs that line-by-line review approves
QuickReview 将隐式状态机审查集成到其 AI 代码审查工具中,在 34 个 PR 上找出了 85% 的已知状态缺陷,高于其默认审查的 71%,成本相同。该功能源自 tldraw 创始人 Steve Ruiz 于 10 月底发布的一行提示词,随后在开发者中传播,有项目在调研中发现约 100 个隐式状态机及多个实际缺陷。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
十月底,一条用于发现隐式状态机的一行提示词在开发者信息流中传播开来。我很喜欢这个想法,而且这些正是我的 AI 代码审查器经常漏掉的 bug,所以我把这个想法作为状态机审查功能内置到了 QuickReview 中,并进行了测量。在 34 个 pull request 上,它发现了 85% 的已知状态 bug,而我的默认审查为 71%,成本相同。它现在已经是 QuickReview 的一部分,你可以在自己的 pull request 上运行它。这些数字背后的每一条审查评论和标签都是公开的,并附带一个可以重新计算它们的脚本。
10 月 31 日,tldraw 的创始人 Steve Ruiz 发布了一条面向编码 agent 的一行提示词:“找出我的应用中所有隐式状态机”。一周之内,开发者们纷纷把它粘贴到自己的 agent 中,并晒出返回的结果,隐式状态机的调查也开始出现在公开的 issue tracker 中。一个项目的调查列出了其生产代码中大约 100 个隐式状态机。另一项目在接下来的一周发现了四个 bug,其中一个是一笔银行连接:同步流程可能在用户仍在设置连接时就将其认领,导致连接损坏。我从那些帖子中认出了这些 bug——它们正是我自己的审查器漏掉的那类问题。
以一个上传按钮为例。处理函数把 uploading 设为 true,向服务器请求上传 URL,发送文件,然后把 uploading 设回 false。当 uploading 为 true 时,按钮被禁用。
一个 pull request 加了一行合理的代码:当服务器没有返回 URL 时提前返回。
async function upload(file: File) { setUploading(true); const url = await getUploadUrl(file.name); if (!url) return; await putFile(url, file); setUploading(false); 每一行都没问题,新增的检查也是好的防御性代码。但第一次服务器什么也没返回时,按钮会一直保持禁用,直到用户重新加载页面。
这个上传按钮有一个状态机。它先是 idle,然后 uploading,然后 done 或 failed。没有人把这个写下来。它存在于一个布尔值和四个调用的顺序之中,而那个提前返回增加了一条离开“uploading”状态的路径,却永远不会回到 idle。
这就是隐式状态机。它的行为取决于某个东西处于哪个状态,而这些状态以及状态之间的转移从未被写在一个地方。状态隐藏在 isLoading 和 isSaving 这类标志中,隐藏在可空字段中,隐藏在状态字符串或数据库列中,隐藏在生命周期阶段中,隐藏在调用必须遵循的顺序中。
正如 statecharts.dev 所说:“你今天写的代码已经充满了状态机和/或状态图。”大多数时候它们能正常工作。当其中一个出问题时,你会得到一个在错误发生后仍然亮着的加载指示器,一个因为支付 webhook 到达两次而被标记为支付两次的订单,或者一个被取消操作永远留在“processing”状态的任务。
这些都不会在改动的那一行上显现出来,因为每一个都需要按特定顺序发生的多个事件。Stripe 的 webhook 文档解释了第二个问题为什么会发生。“Webhook 端点偶尔可能会多次收到同一个事件”,而且 Stripe“不保证事件按生成顺序投递”。一个把订单标记为已支付并发送收据的处理函数,对第一次投递是正确的,对第二次就是错误的。
我开发了 QuickReview,一个面向代码改动和 pull request 的开源 AI 审查器。一个逐行阅读 diff 的审查器会放行这类 bug,所以我检查了我的审查器在这方面的表现。
在 Qodo 的公开审查基准上,我发布基准时所使用的 QuickReview 构建(基于 GPT-6.1 Sol)发现了其中 29 个状态缺陷中的 12 个,不到一半。在该基准的所有功能性 bug 上,它发现了一半以上。29 个是一个小样本,而且状态标签来自 AI agent,没有经过人工核查。
我认为原因在于审查的阅读方式。审查者,无论是人还是 AI,都会看每一行改动并问它是否正确。状态 bug 需要的是另一个问题:在穿过这段代码的每一条路径上,这个状态会发生什么,包括这次改动没有触及的路径。当我的审查器确实发现了一个状态 bug 时,是因为审查者在找别的东西时碰巧发现了它。没有一个是专门针对状态去查的。
我还想知道这些 bug 到底有多重要。我没有找到任何测量数据来支撑“大多数 bug 都是状态 bug”这一说法,而在我运行的基准中,状态缺陷大约占真实缺陷的十一分之一。它们是少数。
它们共有的形态——代码没有预料到的事件序列——是许多实地研究中记录的最严重故障背后的原因。Ding Yuan 及其同事研究了 Cassandra、HBase、HDFS、MapReduce 和 Redis 中 198 个用户报告的故障(OSDI 2014)。该研究没有状态机这一分类,但 77% 的故障需要不止一个输入事件才会发生,而 92% 的灾难性故障来自对软件已经发出信号的非致命错误的处理不当。他们引用的一个案例与上传按钮有着相同的形态。MapReduce 作业在罕见的重启后挂起,因为错误处理函数里留着一个 TODO,而修复方法就是做清理。
2025 年 10 月 AWS us-east-1 区域的 DynamoDB 故障有着相同的形态。一个延迟的进程检查了一次它的 DNS 计划是否比正在生效的计划更新,然后应用了它。AWS 写道,这个检查“由于 Enactor 处理中异常高的延迟,此时已经过时”。随后一次清理删除了那个较旧的计划,留下了“该服务区域端点的一条不正确的空 DNS 记录”。检查是在一个状态下做出的,而动作是在另一个状态下执行的。
对此最快的行动方式是把提示词粘贴到编码 agent 中并阅读答案。这条提示词作为一次调查效果很好。它一次性读取整个代码库,返回一份状态机清单。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。