返回资讯中心
外部精选
软件工程
#开发者实时流

Basis与AWS合作开发S3代理操作回滚验证系统

来源标题:Synthesizing Rollback Systems for Safer Agents

Basis联合AWS自动推理团队为Amazon S3构建了可验证的回滚层原型,能撤销AI代理误操作。该系统旨在为代理提供形式化安全保障,未来计划扩展至更多基础设施。此前已有代理误删生产数据库等事故先例。

Hacker News 最新nikhilpim2026/11/18 · 今天30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

我们为 Amazon S3 打造了一个撤销按钮:一个经过形式化验证的、能够回滚 agent 错误操作的保护层。我们计划将同样的方法扩展到更多的基础设施,并支持更多的安全属性。

AI agent 正在操作世界上越来越多的基础设施,但它们确实会犯下代价高昂的错误。

今年,agent 已经删除了某汽车租赁软件公司和某在线课程平台的生产数据库(连备份也一并删除),还几乎删光了某位用户电脑上的所有文件。

随着 agent 开始控制我们的电网、供应链、金融系统,并最终接管所有关键基础设施,错误将演变为灾难性风险。

我们需要为更安全的 agent 设置护栏:用机制约束它们,防止其做出不必要、不安全的操作。在 Basis,我们的目标是让 agent 获得可证明的安全性,并提供带有形式化保证、因而值得信赖的护栏。今年早些时候,我们推出了 Pact——一种形式化语言,让 agent 能够通过保护隐私与完整性的协议进行协作。

今天,我们报告与 Amazon Web Services 自动化推理团队合作取得的新成果。

我们为 Amazon S3 构建了一个经过形式化验证的撤销按钮的研究原型:一种回滚不必要操作、恢复到出错前状态的方法。

当开发者将基于 AWS 等有状态 API 的任务委派给编码 agent,而这些 agent 犯错时,我们的系统允许用户进行回滚。

我们的方法具有通用性,可以扩展到撤销之外的其他护栏,以及 Amazon S3 之外的其他基础设施。 <source src="/safe-agents/undo-demo-wide.mp4" type="video/mp4"> </video> 一个 Claude Code 会话通过补偿器操作真实的 Amazon S3 存储桶。

我们的撤销按钮通过一个补偿器来中介 agent 与 API 的交互。补偿器位于 agent 和 API 之间。在传递任何会改变状态的调用之前,它会记录如何撤销该调用,并拒绝任何它无法撤销的调用。回滚时,它按相反顺序执行已记录的撤销步骤。

补偿器为编码 agent 提供了事务语义:要么 agent 的整个工作负载全部生效,要么全部不生效。如果 agent 尝试执行无法回滚的操作,或者产生导致崩溃的操作序列,我们的系统会自动回滚状态。如果用户对 agent 的操作不满意,只需按一下按钮即可撤销其影响。

在本文中,我们介绍如何为 Amazon 的 S3 API 开发补偿器,该 API 拥有一百多个复杂且相互影响的操作。

我们计划将这项工作扩展到 AWS 的其余部分,然后扩展到每一个补偿器能派上用场的 API。此前的研究探索了带撤销功能的 agent 原生文件系统,以及将数据库恢复的思路应用于 agent。我们的重点是为不透明的有状态 API 合成补偿器,且所采用的方法有潜力推广到其他 API。

本文的其余部分围绕支撑我们工作的几个关键洞见展开。

Agentget()set() incr() decr() Ready to send Middleware Compensator Ready API Counter 0 No operations yet Compensation traceNewest → No frames yet Operation traceAPI calls · Newest → No operations yet Rollback Reset 一个操作计数器的玩具 API。当你从 agent 发送操作时,补偿器负责处理与 API 的交互,并维护一条补偿轨迹。任何时候点击 Rollback,补偿器就会利用该轨迹将计数器恢复到原始值。set 操作会让补偿器在更改状态之前先对当前状态做快照。

补偿器回滚操作的方式有两种:(1) 将操作与对应的逆操作关联;(2) 在修改前对状态做快照,之后再进行恢复,set 操作即属此类。第一种方法需要深入理解 API 操作之间的关系。第二种方法会引入新的失败模式(例如快照可能过大而导致补偿器崩溃),并且需要理解如何到达任意给定的快照状态。

我们使用 LLM 为 API 生成补偿器。

一次性生成得到的补偿器存在 bug,也就是说,它们无法通过我们所测试的精确规约。

任何其效果无法被我们回滚的操作序列(将中途中止并回滚视为成功回滚)都是有效的反例。

补偿器要么应当将其中某个操作作为不可补偿操作予以拒绝,要么应当成功回滚所有操作。

为了减少补偿器中的 bug,我们在反馈循环中合成补偿器:(1) 给定一个补偿器,让处于全新上下文的 LLM 生成一个失败的测试用例;(2) 给定一个失败测试和补偿器,让 LLM 修复补偿器使其通过该测试。

这个循环是归纳程序合成中一种经典方法的变体,称为反例引导的归纳合成(Counterexample Guided Inductive Synthesis,CEGIS)。当使用可靠且完备的判定过程来生成代码和反例时,该方法(在极限意义上)既可靠又完备。

当然,LLM 既不可靠也不完备,因此我们的循环不提供任何正确性或进展的形式化保证。

我们发现,寻找并修复反例能提升生成代码的质量,但我们仍面临一个问题:如何才能确信我们找到了所有反例?

遗憾的是,我们无法确信这一过程能生成正确的代码,因为尽管 LLM 是出色的 bug 发现者,但它们并非完备的 bug 发现者。

任何用过 LLM 做代码审查的人都体会过这种效应:不同的 LLM 会发现不同的有效 bug 子集。

仅仅搜索失败测试不足以建立信心,因为我们永远无法知道是否遗漏了某一个。

因此,我们需要对代码进行验证。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →