
Claude Code团队称其约90%代码由Claude编写和审查
来源标题:How the Claude Code team thinks about verification
Anthropic的Claude Code团队披露,其约90%的代码由Claude编写和审查。团队强调验证循环是扩大代理工作量的关键,有了它可并行运行数十到数百个Claude实例。内部测试显示,用独立评分器按标准检查Claude输出,任务成功率最多提升10个百分点。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
在Claude Code团队,我们绝大部分代码(约90%)都是由Claude编写和审查的。在这种规模下,如何让我们的agent用证据来验证自己的工作就变得极其重要。
验证循环是让你能把更多工作委托给Claude的基本构件。没有它,你实际上一次只能跑一两个Claude,因为所有东西都得你自己检查。有了它,你可以并行跑几十甚至上百个。
这是因为给agent一种验证输出的方式,是提升质量的有效手段。在围绕结构化文件生成的内部测试中,让一个独立的评分器对照评分标准检查Claude的工作,相比标准的提示循环,任务成功率最多提升了10个百分点,而且在最难的问题上收益最大。
过去验证成本很高的东西(测试、基准、规格、真实的端到端运行),现在让agent去做成本很低。就像代码一样,agent可以快速生成测试、基准和规格。而且一旦生成,这些测试和基准就作为软件运行,因此可以频繁运行,而不必消耗大量额外的token。
你还可以利用结果来提升agent在该任务上的表现,从而闭合验证循环。例如,如果某个agent反复通不过一个检查日志中用户数据的测试,你可以在CLAUDE.md中创建一个hook或一条更明确的规则,以避免将来再出问题。这(基本上)能阻止问题再次发生。
那么,如果验证对于高速产出高质量代码至关重要,你应该使用哪些类型的测试,又该如何把它们应用到整个流水线中?本文回答这些问题,并分享Claude Code团队使用的流程。
无论你选择哪种测试类型,都有几种失败模式需要避免。
如果你的测试不稳定,你就会训练agent去重跑测试,而不是去修复失败的代码。如果你的测试很慢,agent在批次间做的测试就会更少,这会让定位问题变得困难。较重的测试最好在你提交更改之前部署。
下面是我认为最值得投入的三种测试类型。
如果你只能专注于一种测试类型,那就选端到端测试。这类测试描述真实的用户流程,比如把商品加入购物车、结账、跳转到确认页面。
E2E测试之所以如此有效,是因为它们很难被糊弄——要么整个功能能用,要么不能用。它们还有明确的完成标准,能具体告诉你哪里坏了。
虽然单元测试更快、更稳定,但有可能测试通过了功能却仍然是坏的。这是因为agent和测试都没有理解完整任务。
有了E2E测试,让agent在真实运行的系统上动手动眼是有效的。你可以用一个skill来启动、驱动和检查应用,借助CDP、模拟器或API harness等工具。
功能地图可以作为agent的指南和评分标准,因为它通常从用户视角列出功能,并描述路径、键盘快捷键、选择器和预期结果。
很多测试基于你认为可能出错的地方。属性测试关注的是人们容易漏掉的边缘情况,而这正是agent经常失败的地方。
你先写一个你认为不可能失败的断言,然后用测试库(JS/TS用fast-check,Python用Hypothesis,Rust用proptest等)生成成千上万的输入,试图证明它不成立。
几乎每个软件项目中都有许多属性,比如:
属性库是让agent保持诚实的好办法,因为它使用的边缘情况,不会带有与创建原始代码的agent相同的偏差。当规格已经偏离生产行为、不再是可靠的验证来源时,它们在重写场景中尤其有用。
差分测试对于功能预期保持不变的大规模迁移场景特别有效。对于这类测试,你用相同的输入分别运行旧系统和新系统,看结果是否不同。如果不同,就说明有bug或破坏性变更需要修复。
差分测试的关键是使用随机生成的输入或生产流量样本。你还需要归一化空白字符等无关因素,并维护一份已批准的变更列表,用于新环境应当与旧环境不同的情况。
我们之前写过Anthropic的代码审查如何运作,但本文旨在更深入地介绍我们如何验证自己的工作。
端到端运行应用比测试更重要。你不会没在模拟器里试过就发布iOS改动,Claude也是如此。
Claude可以像人或QA工程师那样测试整个应用。对于Web改动,让它使用Claude Chrome扩展;对于移动端,使用iOS或Android MCP;对于桌面端,使用computer use;对于后端工作,让它在本地运行服务。
为了把如何启动模拟器或运行应用固化成规范,创建一个名为verify的skill。把它放在仓库的.claude/skills/文件夹下,尽可能靠近相关代码,并按需添加多个。Claude知道在提交更改前使用verify skill。
然后投入精力让你的verify skill快速且可靠。让Claude对它进行迭代和压力测试。这是你的冒烟测试工具,所以你要它坚如磐石。
当你给Claude一种端到端冒烟测试其改动的方式时,你会得到好得多的结果。你会看到它像人一样迭代并更快地发现真正的错误。我们在Anthropic几乎所有的改动都是这样测试的。
没人能读完每一个改动,所以我们把失败作为决定哪些需要人来看的一种方式。Claude运行检查并尝试修复任何失败的东西。如果某个检查在三轮之后仍然失败,Claude就停下来,引入人工。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。