
CodeRabbit推出Verify公测版,自动测试AI生成代码
来源标题:CodeRabbit Verify: Agentic application testing and QA
CodeRabbit宣布Verify进入公开测试,可对运行中的应用自动执行测试,检查PR或整个代码库变更后的行为,在功能缺陷和流程中断到达用户前发现它们。发现缺陷后,可将问题发送给CodeRabbit Agent修复,或交给开发者常用的编码代理处理。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
AI 编码智能体正在帮助开发者承接更多功能开发和修复工作,但总得有人来确认这些改动之后应用到底能不能正常跑起来。回想一下你们团队最近处理的那个由智能体生成的 PR:是不是得有开发者去部署基础设施、把应用跑起来、把改动涉及的流程点一遍,再把 bug 发回给编码智能体?
编码智能体产出的代码量这么大,逐个改动手动测试根本不现实。要么让 QA 慢慢消化积压、拖慢发布节奏,要么把没好好测过的改动直接发出去、祈祷它没问题。软件发布的速度,取决于你对它的信任程度,所以开发和 QA 团队需要重新思考如何测试智能体生成的代码,才能在不牺牲质量的前提下加快交付。
今天,我们宣布 CodeRabbit Verify 进入公开测试阶段。CodeRabbit 现在可以测试你正在运行的应用,检查某个 PR 或整个代码库所影响的行为,在功能性 bug 或流程中断到达客户之前就把它们找出来。
当测试发现 bug 时,你可以把结果发给 CodeRabbit Agent 来修复,或者交给你惯用的编码智能体。
CodeRabbit Verify 会检查:用户实际操作时应用行为是否符合预期、新改动是否破坏了已有流程,以及你的单元测试漏掉了什么。有了这第一道检查,QA 团队就不必逐个手动过一遍智能体生成的每处改动,去判断哪条用户路径走进了死胡同或撞上了 bug。
CodeRabbit Verify 会根据 PR 中的提交、相关源代码、用户提供的测试和文档来构建测试场景。当 CodeRabbit 审阅过最新提交后,该审阅上下文也可以用来辅助制定测试计划。预期结果来自预期行为、文档和已有测试的期望,这样新的实现就不能自己给自己定义什么叫"正确"。你可以在运行前检查和调整这些场景。
举个例子,假设你在测试电商应用结账时优惠券是否生效。你对一笔 100 美元的订单使用了一张名为 SAVE20 的优惠券,订单总额应该降到 80 美元。CodeRabbit Verify 会走一遍结账流程,发现确认页面显示的总额确实是 80 美元,但应用记录的扣款仍然是 100 美元。客户能使用优惠券并完成结账,可记录在案的扣款金额是错的。如果只测优惠券是否被接受、或确认页面是否出现,就会漏掉这个 bug。
随着新提交到来,Verify 可以更新该 PR 的用户场景计划,并重新运行需要重新验证的检查。之前的结果仍然与它所测试的那次提交关联。当某个场景发现 bug 或阻塞项时,你可以把观察到的行为和证据发给 CodeRabbit Agent 自动修复,或交给你惯用的编码智能体,而不用根据另一份报告去重建问题。
工程团队还需要确认:智能体改动代码库时,已有功能仍然正常工作。一个新功能可能破坏结账、账户创建或客户依赖的其他流程,哪怕这个 PR 本来并不打算改动它们。回归测试需要跟上这些变化,又不能让你团队手写并维护每一个测试。
CodeRabbit Verify 会检查你的代码库,用通俗语言提出用户旅程建议。每条旅程都描述用户是谁、想完成什么、采取哪些步骤,以及必须成立的结果。你的团队可以和智能体讨论这些建议、进行修改,满意后批准。你不必从零开始自己写整套回归测试计划。
获批的旅程会成为一个可复用的回归测试库。你可以按需运行选定的旅程,用标签分组,或针对某个分支和测试环境安排定时运行。随着开发者和智能体改动应用,Verify 会执行这些流程,捕捉那些原本正常、现在被破坏的行为。这样你的团队就拥有了覆盖整个应用的可重复回归测试,包括最新 PR 表面上并未触及的功能。
对于定时运行,你可以开启在已连接的 Jira 或 Linear 跟踪器中自动创建 issue,用于记录新 bug 和测试阻塞项。后续运行如果验证修复通过,可以关闭该发现并更新其关联的 issue。
你可以在实时浏览器视图中观看 Verify 执行场景和用户旅程,然后利用保留的录屏、截图和日志调查失败原因。你能看到它做了什么、以及流程失败那一刻发生了什么,而不是从一句含糊的"有东西坏了"开始排查。
在优惠券的例子中,保存的截图会显示 80 美元的订单总额和 100 美元的模拟扣款并列。该场景包含预期行为以及支撑其结果的各种观察,为开发者或编码智能体提供一个具体的修复起点。
Verify 会先确认旅程的目标和断言都已满足,才把它标记为通过。如果应用无法启动,或某项必需的检查无法完成,它会将这一限制与应用 bug 分开报告,让你的团队知道还有什么需要检查。
"用 CodeRabbit Agent 修复"会把发现、被测试的版本、环境和支撑证据带入修复流程。开发者可以在移交前补充指引并审阅任务。你也可以导出发现和复现上下文给你惯用的编码智能体,包括把交接内容复制为 Markdown,随处可打开。
你的团队不应该在跑 QA 测试前还得花一下午搭测试环境。CodeRabbit Agent 会检查项目需求、为 Verify 准备沙箱、安装依赖、配置配套服务或模拟器、启动应用并确认它就绪。所有测试都在 CodeRabbit 的沙箱中进行,远离你的生产环境。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。