
文章探讨AI代理为何仍需工程师监督
来源标题:No Free Lunch, No Free Rollback: Where Agents Need Engineers
一篇分析文章以PocketOS的编程代理误删生产数据库为例,指出AI代理在低代价试错环境中可自主修复问题,但错误代价升高时仍需独立工程师审查。文章认为代理无法替代外部意图和人为把关。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
查看带有 ai-agents 标签的更多博客,查看带有 machine-learning 标签的更多博客,查看带有 software-engineering 标签的更多博客 目录#定理说了什么,以及为什么流行的论证站不住脚 #仍然成立的部分:意图来自外部 #增加一个参数:犯错的代价 #容易回滚不等于容易检查 #为什么审查者必须独立 #研究显示了什么 #最好的反驳:智能体也会学会这套系统 #我会怎么做 #参考文献 2026年4月,为汽车租赁企业提供软件的小公司 PocketOS 的一个编码智能体在 staging 环境中工作时遇到了一个问题。它自作主张,决定通过删除一个存储卷来修复它。[1] 那个卷里存放着生产数据库。删除过程大约持续了九秒,并把卷级备份也一并带走了。[2] 数据之所以能恢复,只是因为托管服务商 Railway 在异地保留了灾难备份,并在创始人联系他们之后进行了恢复。[2] 现在想象同一类智能体在修复一个不稳定的测试。它在沙箱里失败了39次,有一个测试会评判每一次尝试,第40次它通过了。没人在意。技能相同。只是犯错的代价变了。我认为这个差异比人们通常搬出的那个定理更能回答“AI 会取代软件工程师吗?”在我上一篇博文中,我考察了模型在安全领域已经能做什么。这一篇要问的是,它们仍然不能被单独留在哪些地方。 No Free Lunch 定理常被引用来证明 AI 将永远需要工程师。事实并非如此。但增加一个参数——犯错的代价——就会出现一个更尖锐的论断。在变更无法撤销的地方,智能体无法通过试错来学习。在那里,知识必须来自已经拥有它的人,而且所需的知识量随着风险增大而增长。而即使在变更可以撤销的地方,也必须有人评判每一次尝试,所以无论哪种情况,工程师的时间都是预算。 在 Shalev-Shwartz 和 Ben-David 的教科书中,该定理是这样表述的。[3] 取任意学习算法和一个覆盖不到一半可能输入的训练集。存在某个任务,其中存在完美答案,但该算法的误差至少有 1/8 的概率至少为 1/7。这本书的教训是,学习需要先验知识。 诱人的下一步是“AI 缺乏领域知识,所以工程师留下”。我认为这站不住脚: 有一件事确实成立。软件中的“正确答案”是某个特定公司想要的,而其中大部分从未被写下来。意图也不能简单地从行为中推断出来。Armstrong 和 Mindermann 表明,从行动中恢复偏好是不确定的,而且不同寻常的是,简单性先验并不能解决这个问题。[5] 所以,人类作为意图的来源仍然存在。但产品经理可以成为那个来源。要推导到工程师,我们还需要一个要素。 智能体通过一个循环来改进:编写、运行、失败、重试。这个循环悄然假设了两件事:失败是廉价的,以及有东西能区分失败与成功。 第一个假设把软件工作分成两个区域。在可逆区域,失败的尝试会回滚,智能体再试一次。在不可逆区域,失败的尝试本身就是损害。第二个假设在两个区域都很重要:即使可以重试,也必须有东西评判每一次尝试。 这种划分本身并不新鲜。OpenAI 2023 年关于智能体系统的指南说,某些操作,例如“不可逆的大额金融交易”,应该需要人类明确批准。[6] Dataiku 2026 年的框架将可逆性称为智能体控制的“分界线”,[7] 而 Anthropic 的 Claude Code 自动模式使用一个针对不可逆、破坏性操作的分类器。[8] 我想补充的是:为什么这种划分是必然的而不仅仅是审慎的,为什么所需的输入随着风险增大而增长而不是在某个阈值处突然开启,以及为什么它永远不会降到零。 我的论点是:你所需的可信外部输入随着犯错的代价而增长。对于常规变更来说很小但永不为零,因为仍然需要有人评判结果;对于高风险变更来说则相当大;在单一错误就是灾难性的地方,接近于完整规范。 这就是工程师回归的地方。知道企业想要什么,这是意图。知道什么会出问题,则是另一回事:哪个卷存放生产数据,哪个服务仍在读取一个看起来未使用的列,为什么重试逻辑是现在这个样子。这种关于后果的知识来自运行系统,而智能体无法在实验不被允许的地方通过实验来获得它。 可逆并不意味着免费。一次重试对智能体来说只花费几秒钟,但必须有人决定每一次尝试是否是我们想要的。测试可以为可测试的行为回答这个问题。对于其余部分(正确的设计、正确的权衡、客户真正要求的功能),唯一的反馈是人。在一项对 20,574 次真实编码智能体会话的研究中,开发者提出异议的问题中有 90.5% 涉及工作量和信任,而非造成不可逆损害,而在已解决的问题中,仍有 91.5% 需要开发者纠正智能体。[9] 所以即使在可逆区域,工程师的注意力也是预算。更多的尝试没有帮助,因为每一次都是另一个需要评判的版本,而且循环中没有任何东西知道哪一个是我们想要的,直到有人说出来。下面讨论的安全学习理论出于同样的原因,追踪智能体必须向其导师询问的频率。[10] 最便宜的路径是尽早引导:确定设计,明确约束,在写代码之前审查计划。 这种引导是工作中乏味的部分。它也是拥有无限尝试的智能体仍然无法替你完成的部分:把企业想要的东西转化为可行的设计,并识别出哪一次尝试真正达到了目标。 研究人员也开始说同样的话:瓶颈正在从智能体独自能解决什么,转移到人们能多好地引导和检查它们。[11]
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。