Momentic推出QA智能体，可自主探索应用并发现缺陷

大家好，我们是 Wei-Wei 和 Jeff。我们正在做 Momentic，这是一类 QA agent，能自主规划、探索，并对你的 Web、iOS、Android 以及（很快支持）桌面应用中的控件和用户流程进行 bug 集中排查，从而发现 bug。演示视频：https://youtu.be/BFsM-Se1Fh8

我们俩都是软件工程师，职业生涯一直在做 dev tooling 和基础设施，先后在 Robinhood、Retool、WeWork 和 Qualtrics 工作。测试一直是个让人头疼的事（尤其是 Playwright 和 Selenium），所以我们做了 agent 来替我们完成测试。

现代软件 bug 泛滥，而且随着 coding agent 的普及，变更失败率只会上升得更快。LLM 非常擅长生成代码，但它们会强化自己的假设、写出一大堆没用的测试，而且视觉理解能力很差。在 DeepSWE v1.1 上，Sonnet 5.5 被禁止写测试时的通过率是 66.2%，允许写测试时是 65.3%。

Playwright、Selenium、Maestro 这类开源端到端测试框架，迫使你在测试中硬编码 XPath、文本或 aria-* 属性等实现细节。即使借助 agent，构建和维护这些测试也要花费相当多的时间和 token。

2023 年，我们看到 Nat Friedman 通过 natbot 用 GPT-3 驱动浏览器。我们受到启发，想用这项技术来自动化软件工程中最痛苦、最枯燥的部分：测试。我们最初用 LLM 来生成和维护 Playwright，但很快意识到这些基础组件与 agentic SDLC 从根本上就不匹配。我们认为 QA 的未来是 agent 自己测试自己，而不是写脚本。

Mo 是一个专门用来抓 bug 的自定义 agent harness，建立在 Momentic 过去 3 年的积累以及来自复杂真实应用的数百万条测试 trace 之上。Mo 是为召回率而构建的：它能找到最多真实 bug，不过在精确率上 Codex 略高一些，86% 对 84%。代价是成本：Mo 每个 bug 花费 $2.67，而 Codex 是 $0.80，低于 Claude Code 和 Devin。

• 自组织的 agent 图。Mo 在探索过程中构建一个有向无环图（DAG）。大型产品区域会自动分叉成并行的子 agent，每个子 agent 都有自己的浏览器或设备，可以并发执行。
• 针对特定领域任务的专用 agent。Planner agent 对截图和视频进行推理，而专门的 locator agent 检查页面结构，以解析自然语言描述的交互目标。其他还包括图像分析、视频理解、音频生成等。
• 并行 agent 通过协作式资源租约进行协调。Agent 可以声明自己正在“使用”或“修改”有重叠的资源或 fixture。多个“使用”声明可以共存，但任何特定资源上只能有一个“修改”声明处于活动状态。
• 可扩展的基础设施。Mo 自带一个隧道，让用户能把私有站点和本地应用暴露给我们托管的 agent 和基础设施。一次 bug 集中排查可以启动数百个并发浏览器和设备。

我们在 4 个流行的开源应用上对 Mo 和 coding agent 进行了基准测试：Gitea（58.8k stars）、Metabase、Twenty（YC）和 Saleor，共包含 1,396 个由人工标注的 bug。每个 agent 拿到相同的任务说明、一个全新的 E2B sandbox，且无法访问源代码。Codex 和 Claude Code 使用托管的 Browserbase 浏览器，而 Devin 使用其内置浏览器。评估方面，我们实现了 LLM as a judge（GPT-6.1 Sol），并配有真人审核。限时 60 分钟的运行结果如下：

• Mo：269 个 bug，19.3% 召回率，84% 精确率，每个 bug $2.67
• Codex（GPT-6.1 Sol + Playwright MCP）：86 个 bug，6.2% 召回率，86% 精确率，每个 bug $0.80
• Claude Code（Opus 5.5 + Playwright MCP）：59 个 bug，4.2% 召回率，80% 精确率，每个 bug $4.09
• Devin：27 个 bug，1.9% 召回率，84% 精确率，每个 bug $3.89

Mo 运行时间越长，找到的 bug 越多。从 30 分钟到 60 分钟，它从 177 个 bug 增加到 269 个（+52%），而 Codex 只增长了 16%。

结果：https://momentic.ai/qa-bench 详细说明：https://momentic.ai/blog/qa-bench 数据集：https://huggingface.co/datasets/momentic/qa-bench Harness：https://github.com/momentic-ai/qa-bench

我们刚刚发布了针对 Vercel 和 Cloudflare 部署预览的 PR 测试功能，并且给每个新注册用户 $250 的 Mo 使用额度。付费计划有更高的基础设施容量和包含的用量，以及充值选项。

我们很希望你来试用并给我们反馈。欢迎在这里评论，我们全天都在！

评论 URL：https://news.ycombinator.com/item?id=50339913 点数：13 评论数：0