Progressive automation 用廉价模型录制浏览器测试并转成确定性代码回放
来源标题:Browser tests – from natural language to code
Progressive automation 提出一种浏览器测试方案:先用廉价模型录制一次测试,之后以确定性代码回放,仅在发生变化处调用模型。该方案针对 agent 运行浏览器测试慢、贵、重跑不稳定,以及脚本易碎的问题。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
Agent 跑浏览器测试慢、贵,重跑还不稳定,而脚本又太脆。渐进式自动化用一个便宜模型把测试录一次,然后把它当作确定性代码重放,只在发生变化的地方才调用模型。
如今的 agent 已经能相当不错地写功能甚至写整个应用,我们也在越来越多地用对抗式 agent 评审来自动化掉代码评审。但如果不做人工 QA,我们怎么知道产出真的能用?
浏览器自动化测试正成为做这件事的高效手段,也越来越重要。你在最初的 PRD 里把穿过应用的路径写清楚,然后让 agent 驱动浏览器按这些路径走一遍,看有没有东西坏掉;更进一步,还能生成一段视频,你直接看应用跑起来就行。
我们很喜欢让 agent 干这个,但它又贵又慢,尤其是你想重跑测试的时候。而且由一个非确定性模型来跑,它还可能坏,并且每次坏的方式都不一样;Web 应用尤其如此,跨操作追踪数据记录带来的复杂度让事情更难。你可以让 agent 写一个脚本,但只要复杂到一定程度,脚本就非常脆,会因为时序问题和 UI 结构的小改动而崩掉。作为人类使用一个应用时,你会把流程练到近乎下意识,但一旦有什么变了,你能随机应变。这正是我们希望 agent 能做到的。
怎么让 agent 以这种方式兼得两者之长?
只在不确定性要求的地方使用智能。
把一个任务可以被执行的方式想象成一把梯子,从能力最强、成本最高,到最便宜、最可预测:
一直以同样方式成功的工作,向梯子下方移动。坏掉的工作,往回向上移动。
一个任务第一次运行时,大部分是 agent 式的。成功跑过几次之后,大部分就变成确定性的,只有发生变化的部分才调用模型。
这不是缓存。缓存要么命中要么不命中。而在这里,“这部分需要模型”和“这部分不需要”之间的边界会随着系统积累证据而持续移动,而且是双向移动。
这改变了成本结构。agent 的通常成本大致是 运行次数 × agent 成本。有了渐进式自动化,它就变成:
一次性探索 + 免费的确定性运行 +(失败率 × 廉价的修复)
随着一个工作流趋于稳定,每次运行中模型调用的成本会趋近于零。LLM 不再是长期雇员,而是变成发现、编写和修复自动化的角色。
Sitelooper(GitHub、npm)是一个 CLI,内含一个小型 harness(自研,不用 agent 框架),用浏览器测试实现了渐进式自动化。你一次给它一条大白话指令,比如“以 ops@example.com 登录,创建一张标题为 ‘k7 Bench’ 的工单并报告它的 id”。一个便宜的模型操作真实浏览器,返回一个经过校验的结果。梯子的每一层都对应具体的东西:
三条指令由 agent 驱动录制(24 秒、28 秒和 42 秒),然后重置应用,同样的流程在 16 秒内重放完成,零模型调用。
显而易见的捷径是让 agent 把活干完,然后让它把做过的事写成一个脚本。我试过这条路,也试过按 playwright codegen 输出的方式重放原始录制。两者都因结构性的原因而失败:
对 sitelooper 来说,一次录制只是某个任务的一个实例。它由此构建出来的是覆盖所有实例的过程。它并不像脚本那样只是重放。每一步都保留了它的意图以及它是怎么做的:
编译出的 Playwright spec 保留了那些效果校验,所以它是梯子的确定性一端,而不是一个盲脚本。生成的 .flow.ts 每次构建都会被重写,但它旁边的 .spec.ts 你可以自己改:在那里加断言和 fixture。重新编译永远不会碰它。
我们用了十个开源自托管应用:一个小的报修台应用、Odoo、Grafana、Kanboard、OpenProject、Gitea、Vikunja、EspoCRM、Snipe-IT 和 Ghost。每个任务先做一次以录制,再在不调用模型的情况下重放两次,然后作为编译后的 Playwright spec 运行。每一次运行都对照应用的真实数据打分——它的数据库或 API,绝不采信工具自己的报告。
对比对象是由 LLM 驱动的 agent-browser,它每次运行都把活重做一遍。
这就是渐进式自动化给出的主张:运行成本接近脚本,恢复能力接近 agent。
完整协议、所用模型、每一次运行的 id 以及已发布的 867 个结果分支都在仓库里,你可以核对其中任何一个数字。
这些是想法,不是特性。它们目前都还没进 sitelooper。
录制需要 Node 20+ 和一个 OpenRouter key。编译出的测试只需要 @playwright/test。
npm install -g sitelooper npm install -D @playwright/test && npx playwright install chromium export OPENROUTER_API_KEY=sk-or-... sitelooper doctor sitelooper init
然后一次录一条指令,保存流程并构建:
sitelooper --session ticket --learn open http://localhost:3000 sitelooper --session ticket do "Sign in as {{env:TEST_USER}} using {{env:TEST_PASSWORD}} and verify the dashboard opens" sitelooper --session ticket do "Create a ticket titled 'demo Test'; verify it appears and report its id" sitelooper --session ticket stop --save-flow ticket sitelooper build ticket --reset-cmd "npm run reset:e2e" npx playwright test tests/sitelooper/ticket.spec.ts
它同时也是一个 Claude Code 插件(/plugin marketplace add restspace/sitelooper)和一个 MCP server(sitelooper mcp),可供 Codex、Cursor 及其他 agent 使用。把它交给你的 agent,只需描述你想构建的 e2e 测试,剩下的它会做。
Agent 不该长期把智能花在它已经学会怎么做的工作上。我很想听听它在哪些地方对你不灵。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。