新基准 CloudOpsBench 发布，测 AI 智能体处理云端 DevOps 任务的能力

CloudOpsBench 是一个新基准，用于衡量 AI agent 在云端处理 DevOps 任务的能力：修复故障、迁移服务、轮换加密密钥、滚动发布更新以及下线项目。与典型的软件工程（SWE）任务不同，DevOps 任务具有安全关键性，难以用测试套件评分，并且要求对运行环境有深入理解。 CloudOpsBench v1.0 包含 45 个 AWS 上的 DevOps 任务，有两个显著特点：(1) 它是一个前沿基准。即便最强的 agent 也有大量任务未能解决：Claude Fable 5.1 完成了 45 个任务中的 29 个，GPT-6 Astra 完成了 26 个。(2) 它在真实 AWS 云和高度保真的模拟器中运行结果完全一致。因此可以在不接入真实云账号的情况下，快速且安全地评估 agent。 这些任务覆盖了一系列有代表性的 DevOps 工作流：下线项目（13 个任务）、保护访问安全（12 个）、迁移和部署服务（7 个）、配置和监控服务（6 个）以及修复故障（7 个）。 要完成一个 DevOps 任务，有三个组成部分对 DevOps 工程师至关重要——无论是人类还是 agent。 基于这些步骤，我们把失败归为三类： 下图展示了每个模型在每个任务上的失败模式。 我们发现知识缺口很少见：没有任何任务是因为 agent 误解了某个服务而失败的。我们发现测试的每个模型都了解任务所依赖的云服务行为。因此知识从来不是瓶颈，更多的文档或更好的检索很可能也不会改变这些结果。 相比之下，推理缺口最为常见：约占所有失败任务的 80%。例如，我们观察到 agent 在尚未覆盖 DevOps 工程师通常会检查的每一项服务之前就停止了排查，并宣布任务完成。在大多数这类尝试中，agent 从未去其他服务或资源类型中寻找额外资源，其输出中也没有任何迹象表明遗漏了什么。 错误操作约占失败任务的 20%。例如，在一个存储桶迁移任务中，agent 发现了一个正在进行的分片上传（一个大文件仍在分片上传中），却将其当作残留数据中止了。这破坏了数据，且该上传无法恢复。由于云基础设施至关重要，此类错误会对环境造成不可逆的后果。 下图展示了按任务类型划分的失败模式。 下图展示了一次 Claude Fable 5.1 运行中对队列任务的典型尝试：每条命令都执行成功，agent 自己的复查结果也显示一切正常。每个模型都知道 MediaConvert 可以拥有自己的队列，但我们发现，没有任何模型在任何一次尝试中列出过这些队列。