Momentic 推出 QA 智能体，自主探索应用以发现缺陷

大家好，我们是 Wei-Wei 和 Jeff。我们正在做 Momentic——QA 智能体，它们能自主规划、探索，并对你的 web、iOS、Android 以及（即将支持的）桌面应用中的控件和用户流程进行 bug 排查，从而发现 bug。演示视频：https://youtu.be/BFsM-Se1Fh8

我们俩都是软件工程师，职业生涯一直从事开发工具和基础设施方面的工作，先后就职于 Robinhood、Retool、WeWork 和 Qualtrics。测试一向是件苦差事（尤其是 Playwright 和 Selenium），所以我们做了智能体来替我们干这件事。

现代软件 bug 多如牛毛，而随着编码智能体的普及，变更失败率只会上升得更快。LLM 非常擅长生成代码，但它们会强化自身的假设、写出一堆没用的测试，而且在视觉理解方面表现很差。在 DeepSWE v1.1 上，Sonnet 5.5 在禁止写测试时通过率为 66.2%，而允许写测试时为 65.3%。

Playwright、Selenium 或 Maestro 这类开源端到端测试框架，迫使你把 XPath、文本或 aria-* 属性之类的实现细节硬编码进测试里。即便借助智能体，构建和维护这些测试也要花费相当多的时间和 token。

2023 年，我们看到 Nat Friedman 通过 natbot 用 GPT-3 驱动浏览器。我们受到启发，想用这项技术来自动化软件工程中最痛苦、最乏味的部分：测试。我们一开始用 LLM 生成和维护 Playwright，但很快意识到这些基础构件与智能体化的 SDLC 从根本上就不匹配。我们认为 QA 的未来是智能体自己测试自己，而不是写脚本。

Mo 是一个专为发现 bug 打造的自定义智能体框架，建立在 Momentic 过去 3 年的积累以及来自复杂真实应用数百万条测试轨迹之上。Mo 为召回率而设计：它能找到最真实的 bug，尽管 Codex 在精确率上略高一些，为 86% 对 84%。代价是成本：Mo 每个 bug 花费 2.67 美元，Codex 为 0.80 美元，但低于 Claude Code 和 Devin。

• 自组织的智能体图。Mo 在探索过程中构建一个有向无环图（DAG）。大型产品区域会自动分叉为并行的子智能体，每个子智能体拥有自己的浏览器或设备以并发执行。

• 面向特定领域任务的专用智能体。规划智能体对截图和视频进行推理，而专门的定位智能体检查页面结构，以解析纯英文的交互目标。其他智能体还包括图像分析、视频理解、音频生成等。

• 并行智能体通过协作式资源租约进行协调。智能体可以声明自己正在“使用”或“修改”重叠的资源或 fixture。多个“使用”声明可以共存，但任何特定资源上同时只能有一个“修改”声明处于活动状态。

• 可扩展的基础设施。Mo 附带一个隧道，让用户能把私有站点和本地应用暴露给我们托管的智能体和基础设施。一次 bug 排查可以启动数百个并发浏览器和设备。

我们在 4 个热门开源应用上对 Mo 与编码智能体进行了基准测试：Gitea（58.8k stars）、Metabase、Twenty（YC）和 Saleor，共有 1,396 个人工标注的 bug。每个智能体拿到相同的任务简报、一个全新的 E2B 沙箱，且无法访问源代码。Codex 和 Claude Code 使用托管的 Browserbase 浏览器，而 Devin 使用其内置浏览器。评估方面，我们采用了 LLM 作为评判（GPT-6.1 Sol）并辅以人工复核。

限时 60 分钟的运行结果：

• Mo：269 个 bug，召回率 19.3%，精确率 84%，每个 bug 2.67 美元
• Codex（GPT-6.1 Sol + Playwright MCP）：86 个 bug，召回率 6.2%，精确率 86%，每个 bug 0.80 美元
• Claude Code（Opus 5.5 + Playwright MCP）：59 个 bug，召回率 4.2%，精确率 80%，每个 bug 4.09 美元
• Devin：27 个 bug，召回率 1.9%，精确率 84%，每个 bug 3.89 美元

Mo 时间越多，找到的 bug 就越多。从 30 分钟到 60 分钟，它从 177 个 bug 增加到 269 个（+52%），而 Codex 仅增长了 16%。

结果：https://momentic.ai/qa-bench 详细说明：https://momentic.ai/blog/qa-bench 数据集：https://huggingface.co/datasets/momentic/qa-bench 测试框架：https://github.com/momentic-ai/qa-bench

我们刚刚发布了针对 Vercel 和 Cloudflare 部署预览的 PR 测试，并且给每个新注册用户 250 美元的 Mo 使用额度。付费计划拥有更高的基础设施容量和包含的用量，并提供充值选项。

我们很希望你能试用并给我们反馈。欢迎在这里留言，我们整天都会在线！

评论 URL：https://news.ycombinator.com/item?id=50339913 点数：7 评论数：0