返回资讯中心
外部精选
软件工程
#开发者实时流

评论:AI代理安全设计应优先考虑可撤销性而非审批提示

来源标题:Agents Need an Undo Button, Not More Approval Prompts

一篇评论文章提出,AI代理的安全设计不应依赖让人反复点击批准,而应优先保证操作可撤销。若动作能低成本回滚,就让代理执行并备好撤销机制,把人的注意力留给不可逆的操作。文章指出,始终被批准的审批流程已沦为形式,只会增加延迟而非真正的监督。

Hacker News 最新Banchala2026/11/16 · 2 天前15 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

大多数 agent 安全设计都在问一个动作是否有风险。更有用的问题是:你怎么把它撤回。如果一个动作可以低成本地撤销,那就让 agent 去做,同时把撤销准备好。把人的注意力留给那些无法逆转的动作。

让 AI agent 安全的默认做法是让它先问。在它发送邮件、发起退款或执行迁移之前,由人点击“批准”。这容易实现,也容易解释,安全指南也推荐对高影响动作这样做。

但它很快就会被消磨殆尽。第一天,审核者会阅读每一份提案。几周之后,agent 大多数时候都是对的,队列很长,“批准”已经变成条件反射。任何曾经不看内容就点掉 cookie 横幅、或者在 sudo 提示里直接输入密码的人,都熟悉这个模式。永远被授予的批准不是监督,而是延迟。

常见的补救办法是根据动作“感觉有多危险”来决定哪些动作需要批准。这有帮助,但“危险”很模糊,而且它把界线画在了错误的位置。让一个错误代价高昂的,主要在于你能否把它撤回。

拿 agent 可能做错的两个动作来说:修改一张支持工单的优先级,以及给客户发邮件。如果优先级改错了,有人把它改回去,团队之外的人根本不会注意到。如果邮件发错了,它现在已经躺在别人的收件箱里,你这边没有任何按钮能把它删掉。

数据库在几十年前就通过一个类似的概念解决了这个问题。一个事务在提交之前都可以回滚。对于无法长期持有锁的长时运行工作,Hector Garcia-Molina 和 Kenneth Salem 在 1987 年的 Sagas 论文中,为每个步骤配上一个补偿步骤来撤销其影响:预订配取消,扣款配退款。今天分布式系统的架构指南仍在教授同样的模式。

Agent 是长时运行的,会经历很多步骤,并且会触碰它们并不拥有的系统。换句话说,它们是 saga,只不过由语言模型来选择下一步。所以借鉴这个设计:在一个工具对 agent 可用之前,先写下它的影响如何被撤销。

该动作在你控制的系统中存在精确的逆操作:修改一个字段、移动一个文件、添加一个标签。保存之前的值,撤销就只是一次调用。让 agent 行动,并把撤销按钮直接显示在结果旁边。

该动作无法被抹除,但后续操作可以抵消其影响:为扣款退款,为预订取消,为错误价格更正。补偿从来都不完美,因为客户可能已经看到了那笔扣款。限制 agent 在人查看之前能执行多少补偿。

该动作一旦落地就无法撤销,但你可以先把它扣住。Gmail 的“撤销发送”就是这样工作的:消息在真正发出之前会等待最多 30 秒。agent 发出的邮件、webhook 或帖子可以停留在一个足够长的保留窗口里,让人或第二道检查把它取消。

没有逆操作、没有补偿、没有有用的延迟:删除没有备份的数据、向外部账户转账、以某人的名义发帖。这些才是每次都值得让人全神贯注的动作。

可逆性不是工具的固定属性。它会随时间衰减。

agent 刚刚更新的记录很容易恢复。一小时后,另一个任务可能已经读取了它、把它复制进报告,或者发出了关于它的通知。恢复字段不再能恢复世界。一封草稿邮件在发送前完全可逆,在保留窗口内可延迟,之后便不可逆。一笔退款在账目关闭前可补偿。

所以对“这能撤销吗?”的诚实回答是“到什么时候为止,由谁?”。每个工具都应该带上这个答案:它的撤销在多长时间内有效,以及在那之前还有什么可能读取它的影响。一个只在五分钟内有效的撤销,需要有人、或者有东西,在这五分钟内盯着。

在工具接入之前做这件事,而不是在第一次事故之后。

目标不是让更少的人参与,而是让人把注意力花在能改变结果的地方。

很诱人给 agent 一个撤销工具,然后告诉它自己善后。作为便利手段这没问题,但它不能成为安全机制。一个因为误判形势而犯错的 agent,不适合来决定形势是否需要修复。而一个读取了藏在邮件或网页里的恶意指令的 agent,可以被指示不要撤销任何东西。

agent 做了什么、保存的先前值以及撤销动作,这些记录属于 agent 运行所在的系统。人应该能够打开一份 agent 最近动作的列表,并在不询问 agent 的情况下撤销其中任何一个。

可逆性不是一切。有些动作在发生的那一刻就泄露了信息:如果 agent 把一份私人文档放进回复里,事后删除回复并不能取消分享。有些补偿在法律或社会层面有重要意义,而退款并不能抹去客户的糟糕体验。一个被标为可逆、实际却不可逆的工具,比一个完全没有标签的工具更糟。

把每个标签当作一个有人负责并审核的设计决策。像测试动作本身一样测试每一条撤销路径。从未运行过的撤销是一种希望,而不是一种控制。

我们构建 Quaspar,一个供团队测试、部署和运行其应用与 AI agent 的共享云。今天在 Workspace 中,对外发送的消息、提交以及对已连接系统的更改都会等待人审核,而且每一个决定都会被记录。本文是我们对“询问”与“撤销”之间权衡的思考。它不是对一个已完成功能的描述。

Quaspar 处于私密预览阶段。如果你的团队运行会触碰真实系统的 agent,可以申请 Studio 访问权限。

Quaspar 处于私密预览阶段。申请 Studio 访问权限,在一个共享工作区中测试和运行你自己的 agent,并带有人工审核。

规则、标准和指南可能会变化。以下链接于 2026 年 11 月 16 日审核。

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →