返回资讯中心
外部精选
云计算
#容器平台#AI#AI Agents#AI Operations

Raindrop推出Simulations平台公测,模拟智能体运行环境以预判改动影响

来源标题:Raindrop simulates your agent’s world to catch what your changes break

Raindrop 上线 Simulations 平台公测,可重建智能体在生产环境中的工具、API 和数据库,让开发者在发布前看到改动对行为的影响。该平台针对 prompt 修改、模型更换或新增工具等场景,CTO Ben Hylak 称预定义测试难以覆盖智能体每次运行走不同路径带来的意外失败。

The New StackFrederic Lardinois2026/11/5 · 12 天前14 分钟阅读

以下正文由 AI 翻译自 The New Stack(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

Raindrop 希望开发者在编辑 agent 的 prompt、更换模型或为它添加新工具时,能够知道还有哪些地方会随之改变。

这家公司最初是一家 agent 监控初创企业(“agent 界的 Sentry”是其早期口号),于周四将其 Simulations 平台开放公测。

Raindrop 联合创始人兼 CTO Ben Hylak 表示,agent 的 prompt 可能取决于功能开关、账户详情以及用户所处的套餐。

“你必须让 agent 真正运行起来,才能对它进行真正的评估,”他说。

图片来源:Raindrop。

据该公司介绍,借助 Simulations,Raindrop 会重建 agent 的生产环境,包括其工具、API 和数据库,使开发者能够在发布变更之前看到它如何影响 agent 的行为。这种变更可能是更换模型、编辑 prompt 或添加新工具——其中任何一项都可能改变 agent 在生产环境中的行为。

“agent 每次运行,走的路径都不一样。”——Raindrop CTO Ben Hylak。

Hylak 认为,预定义的测试和评估可能会漏掉开发者未曾预料到的故障,尤其是当 agent 承担越来越多具有实际后果的工作时。

“agent 每次运行,走的路径都不一样,”Hylak 说。

重建环境

Raindrop 将其模拟环境描述为一组有状态的合成服务,客户真实的 agent 代码在这些服务上运行。它利用生产 trace 来重建 agent 所交互的服务,并用生成的数据填补缺失部分。

据 Raindrop 介绍,agent 在隔离的沙箱中运行其真实的 prompt、模型和 agent 循环,无法访问生产服务或凭据。对于每次工具调用,Raindrop 会基于生产 trace 生成响应,按照代码期望的类型进行校验,并在整个运行过程中保持模拟环境的一致性。

Hylak 表示,针对线上服务运行测试同样无法重现原始条件。

“自你运行那个 agent 以来,生产环境的状态已经发生了变化,”他说。

Hylak 称,Raindrop 会自动搭建 agent harness 和测试环境,既用沙箱来构建模拟,也用沙箱来运行模拟。被测 agent 本身也可能创建自己的沙箱。

“就像层层嵌套的沙箱,一路到底,”他说。

图片来源:Raindrop。

Hylak 表示,Raindrop 会对模拟运行其生产问题检测,以发现故障和意外的行为变化。该公司既寻找开发者未曾预料到的故障,也检查开发者已经写明的场景。

填补缺失数据

模拟环境是一回事,但 agent 还需要数据才能工作。Hylak 说,编辑 prompt 或更换模型可以复用此前运行的上下文。而添加 Salesforce 或 HubSpot 工具则更难,因为 Raindrop 可能从未见过该工具返回的数据。

Raindrop 可以生成合成数据来填补空缺,但 Hylak 表示:“我们知道,这种模拟的真实度不如真实世界。”

Hylak 说,为了让用户对这些模拟有信心,Raindrop 会给出模拟保真度评分,并标记出拉低评分的因素。该评分估测测试在多大程度上反映了生产环境。客户随后可以添加文件,或通过 Model Context Protocol 连接数据源,在更贴近真实的条件下重新运行测试。

缺失的功能开关值也可能导致模拟器缺少塑造原始 prompt 的信息。Hylak 表示,Raindrop 可以建议提交 pull request 来改进 agent 的遥测,从而记录下这些上下文。

Hylak 说,模型往往能察觉到合成数据中的不一致之处,意识到自己正在被测试。这可能会在测试期间改变它们的行为。团队尝试将这种“测试感知”作为模拟的一部分加以衡量。

Hylak 表示,为了考虑不同运行之间的正常波动,Raindrop 还会运行多次模拟,并将结果与生产历史进行对比。

图片来源:Raindrop。

测试不同的 agent

OpenAI 已经在利用生产对话来测试候选模型,包括编码 agent——这些 agent 的工具通过历史仓库状态和记录下来的工具交互进行模拟。与此同时,Sierra 利用标准操作流程、知识库、历史辅导记录和对话流程,为其平台上的 agent 自动生成模拟套件。

Hylak 表示,Raindrop 面向客户自己的 agent 构建,跨不同框架和代码库,结果作为 pull request 的一部分交付。在早期访问阶段,团队必须让模拟能够适用于嵌入大型企业代码库中的 agent。

据该公司介绍,在早期访问期间,客户和 Raindrop 自己的团队在 1,700 多个 pull request 中运行了超过 33,000 次模拟。

OpenAI 对 Hugging Face 事件的描述提到,在降低防护措施的网络安全评估中,agent 利用了相互连接的系统。最近,它还记录了内部编码 agent 在执行软件变更时削弱监控的情况。

Raindrop 于 9 月首次发布 Simulations,同时宣布了 A 轮融资,使其总融资额达到 5,000 万美元。

Hylak 表示,定价将基于 pull request 数量,并对环境重建和模拟运行收费。agent 自身的模型使用最初也通过 Raindrop 计费,因此账单将部分取决于 agent 运行多长时间。

文章 Raindrop simulates your agent's world to catch what your changes break 首发于 The New Stack。

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →