返回资讯中心
外部精选
云计算
#容器平台#AI Agents#AI Engineering#Software Testing#sponsor-signadot

AWS发布本地AWS模拟器AWS Emulator,供编码代理测试

来源标题:AWS Emulator proves agents need a verification loop. Realism is the hard part.

AWS发布AWS Emulator,一个可供编码代理本地测试的AWS副本,覆盖200多项AWS服务,且完全由代理编写。AWS高管Swami Sivasubramanian称,同一代理重建其20年前耗时四个月的系统,在获得测试环境和反馈循环后仅用约两小时。他强调代理的能力取决于其验证循环,而验证循环取决于所运行的环境。

The New StackArjun Iyer2026/11/14 · 3 天前23 分钟阅读

以下正文由 AI 翻译自 The New Stack(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

本周,Amazon Web Services 发布了 AWS Emulator,这是 AWS 的一个本地副本,coding agent 可以针对它进行测试。它覆盖了 200 多项 AWS 服务,并且完全由 agent 编写。这次发布中最有价值的部分,是 Swami Sivasubramanian 在公告中讲述的一个故事。

大约 20 年前,Sivasubramanian 参与构建了 Alf 内部的复制引擎。Alf 是一个基于 Paxos 的锁服务,至今仍支撑着 S3 和 DynamoDB 等 AWS 系统。第一次构建花了大约四个月。后来他让 AWS 的 agentic coding 工具 Kiro 重建它,他监督了 agent 四个晚上,才发现了问题所在:agent 没有办法检查自己的结果。一旦有了 spec 和测试环境,重建只花了大约两个小时。

同一个 agent,同一个任务。四个晚上变成两个小时,因为反馈循环变了。

“agent 的上限取决于它的验证循环,而验证循环的上限取决于它运行时所针对的对象。”

正如 Sivasubramanian 所说,分布式系统很难测试。这与我看到的那些在生产系统上运行 coding agent 的团队的情况一致。agent 的上限取决于它的验证循环,而验证循环的上限取决于它运行时所针对的对象。AWS Emulator 解决了你的代码所调用的 AWS API 这一问题。但它没有解决你的团队自己拥有的服务的问题,而大多数 agent 编写的变更恰恰是在这里出问题。

AWS 把基础设施放进了 agent 的循环里

coding agent 在一个循环中工作。它编写代码、运行代码、读取结果,然后决定下一步改什么。Sivasubramanian 的观点是,在分布式系统中,这个循环运行在基础设施内部。如果代码调用的服务行为与真实服务不一致,agent 就会学到错误的经验,并继续错下去。

AWS Emulator 把 AWS 放进了笔记本电脑上的这个循环里。用一个环境变量把现有的 AWS 工具和代码指向它,测试就能针对模拟的服务运行,无需任何改动。

自主 agent 根据 AWS 的公开 API 模型,编写了模拟器的每一行代码。每个行为都由一个 fidelity test 固定下来,该测试先针对真实 AWS 通过,再针对模拟器通过,并且每次变更都要通过一个 merge gate,由安全 agent 进行审查。Sivasubramanian 的结论是,当 agent 编写代码时,工程师的工作就是构建 spec、测试和 merge gate,来决定工作何时是正确的。

Hacker News 上的第一波反应直接指向信任问题。一位评论者数出三周内大约有 30,000 次 commit,并质疑其质量。这个问题问得合理,但矛头指错了对象。谁写了代码,说明不了什么。代码是针对什么验证的,才能说明很多问题,而 AWS 的答案是真实 AWS。

“缓慢或不真实的反馈对人是负担。对 agent 来说,它决定了循环是否还能运转。”

变化的是谁来运行这个循环。开发者一天检查几次变更,而 agent 每次迭代都会检查。缓慢或不真实的反馈对人是负担。对 agent 来说,它决定了循环是否还能运转。

每个循环都针对 mock、模拟器或运行中的系统

agent 可以针对三种对象之一来验证自己的工作,每一种都有不同的弱点。

Mock 是最弱的选择,而 AI 让它们变得廉价。一位 Hacker News 评论者认为,现在让 AI 来 mock 你的 API 更快,并补充说“AI 对测试覆盖率是一大福音”。但一个自己编写 mock 的 agent,写出的 mock 是为了匹配它自己的假设。测试通过是因为它们本来就是被构建来通过的,所以覆盖率上升了,但信心不该上升。

模拟器是实实在在的进步。AWS Emulator 是针对真实 AWS 校验的,所以它的行为来自服务本身,而不是来自 agent。

不过,模拟器终究是一个模型,AWS 对此也很坦诚。仓库里保留了一个文件夹,存放 agent 发现的、尚与真实 AWS 不一致的行为,而未实现的操作会返回错误,而不是假装成功。一位 IDC 分析师指出,在发布时,模拟器并不模拟限流、故障或按 Region 的可用性,而这些正是重试和故障转移逻辑得到检验的地方。

“一个自己编写 mock 的 agent,写出的 mock 是为了匹配它自己的假设。测试通过是因为它们本来就是被构建来通过的,所以覆盖率上升了,但信心不该上升。”

Sivasubramanian 谈到自己在 Alf 上的工作时也说了同样的话。模拟在真实服务器上运行之前,就解决了大部分并发 bug。然后在真实服务器上测试时又发现了不同的问题,因为“真实世界会暴露模拟无法暴露的东西。”

你无法像 AWS 模拟自己那样模拟你自己的系统

在同一个 HN 讨论串中,一位自称亚马逊员工的人概述了如今大多数团队对 agent 采用的方法:尽可能封闭系统的更多部分,对无法封闭的依赖进行 mock 或模拟,然后让 agent 放手去做。当你无法封闭的部分是一个有公开 spec 的云 API 时,这行得通。但当那部分是你自己的系统时,就行不通了。

AWS Emulator 之所以有效,是因为 AWS 拥有大多数团队为自己的软件永远不会有 的两样东西:每个操作的完整、机器可读的 spec,以及一个在真实 AWS 中可供校验的稳定参照。

现在想象一个拥有 60 个微服务的支付平台。这些服务之间的契约存在于代码中、存在于几个月前就已漂移的几个 OpenAPI 文件里,以及编写它们的工程师的头脑中。没有单一的 spec,而参照实现就是运行中的系统本身,它每次有人合并时都会变化。随着 agent 一天多次提交 pull request(PR),它的变化速度超过了任何模型能够跟上的速度。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →