
AI编程的真正难点在第二次改动而非首次构建
来源标题:The Hard Part of AI Coding Is the Second Change
Brian Woods 指出,AI 让「一次跑通」的代码更便宜,但维护才是难点:例如 AI 给支付服务加重试,可能因超时导致重复扣款。他主张用 CI 和分支保护把证据绑定到具体代码,并在需求变更或风险确认处设人工关卡,Agent 不得自行修改其验收规则。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
AI agent 构建了一个支付服务。测试通过,演示正常。 然后你要求加上重试。agent 加上了,但超时可能意味着扣款已成功而响应丢失了。现在重试会让客户被扣两次款。 功能能用,系统却变差了。测试套件甚至可能更大了。数量从来都比判断力更容易衡量。 AI 让「构建一个能跑一次的东西」变得更便宜。维护它意味着要守住那些必须始终成立的约束。支付不能重复扣款。用户不能看到其他租户的数据。迁移必须兼容上一个应用版本。 在接受一次变更之前,我想要四个答案: 使用 CI 和分支保护。把证据绑定到确切的代码上,并在需求变更或风险被接受的地方设置人工卡点。agent 有干活的权限,不等于有批准自己的权限。 agent 提出变更。独立的工作流产出证据,人类定义验收策略、批准需求变更并接受风险。常规变更可以按该策略自动通过,但 agent 绝不能有能力修改管辖自身验收的规则。 我用一个合成实验对 Uncle 的 verifier 做了测试。其中一个案例里,一条构建记录的测试和审计都失败了,却返回了 VERIFIED。该记录在 fixture 的信任根下是真实的。但这并不意味着软件可以发布了。 verifier 回答的是第一个问题。一个对失败测试记录进行真实性验证的 verifier 行为是正确的,它的输出也说明了这一点:“NOT_READY ... attested as recorded, not as correct.”(按记录验证为真,而非按正确性验证)。故障发生在另一个系统把真实性误当成了发布授权。一份真实的失败测试记录,并不是发布应当继续进行的证据。 这 15 个案例(完整记录)只覆盖单次变更下 verifier 的行为。测试框架控制着密钥和审批,verifier 不会重跑测试。它们对独立信任或生产工作流没有任何说明。 任何此类方案都假设 agent 无法修改签名密钥、verifier 的信任根或实际生效的验收策略。它还假设 agent 能编辑的 CI 配置和测试不会悄悄变成受信任的策略。如果 agent 能改动其中任何一项,签名就只能证明记录是在同一个已被攻破的边界内产生的。 实验展示了这种情况的一个案例。攻击者的密钥签署了证明,仓库自己的信任文件也被替换成匹配的内容。verifier 返回了 VERIFIED,因为它默认从仓库中读取信任根。从仓库外部提供信任根后,同一份证明就验证失败了。 本地审批提示同样不是人类意图的密码学证明。 问题在于,如何在连续多次变更中保留这些证据,同时不让 agent 批准自己的工作。 这些原语没有一个是新的。Git 提供内容寻址的历史,in-toto 和 SLSA 定义来源与证明,Sigstore 处理签名和身份,带分支保护的 CI 在 pull request 内执行了其中大部分。尚待解决的问题是:在 agent 驱动的变更之间把需求、证据和审批连接起来,同时不让 agent 为自己的工作出具证明。Git 记录代码是如何变化的。这个图会记录哪些变更被接受了、依据哪些需求与策略、基于哪些证据。这两段历史相关,但它们回答的是不同的问题。CI 已经记录了测试结果,来源系统已经把证据绑定到产物上。新增的部分是把验收决策本身跨越连续变更连接起来。以下是一个提议的设计,并非在声称 Uncle 今天已完全做到。 例如,假设两个 agent 从已接受状态 A 独立产生了变更 B 和 C,且都通过了各自的必需检查。合并 B 和 C 得到状态 D,它有一个新的树标识。D 需要自己的验证和验收证据;对 B 和 C 的批准不会自动批准它们的组合。 密码学保护记录及其关系。它无法证明测试足够充分,也无法证明软件正确。你可以在现有 CI 和审查工具之上构建这套东西,无论你是否使用 Uncle。 以下是该设计处理这次支付变更的方式: 它仍然无法保证正确性。测试可能漏掉竞态条件,生产环境会发现验证环境从未见过的路径。这四个问题管的是变更是否被接受。它们不替代可观测性、回滚、事故响应或工程判断。 生成下一个版本正变得越来越便宜。决定是否接受它,仍然是人的工作。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。