
Claude Code团队:约90%代码由Claude编写和审查
来源标题:How the Claude Code team thinks about verification
Claude Code团队透露,其约90%的代码由Claude编写和审查。团队通过为智能体配备验证循环来提升输出质量,内部测试显示独立评分器按标准检查可将任务成功率提升最多10个百分点,最难问题上收益最大。
以下正文由 AI 翻译自 Hacker News(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
在Claude Code团队,我们绝大部分代码(约90%)都是由Claude编写和审查的。在这种规模下,如何让我们的agent用证据来验证自己的工作就变得极其重要。
验证循环是让你能把更多工作委托给Claude的基础构件。没有它,你实际上只能同时跑一两个Claude,因为你得自己检查所有东西。有了它,你可以并行跑几十甚至上百个。
这是因为给agent一种验证其输出的方式,是提升质量的有效手段。在围绕结构化文件生成的内部测试中,让一个独立的评分器按照评分标准检查Claude的工作,相比标准的提示循环,任务成功率最高提升了10个百分点,而且在最难的问题上收益最大。
过去验证成本很高的东西(测试、基准、规格、真实的端到端运行),现在向agent请求的成本很低。和代码一样,agent可以快速生成测试、基准和规格。而且一旦生成,这些测试和基准就作为软件运行,因此可以频繁运行,而不消耗太多额外的token。
你也可以利用结果来提升agent在该任务上的表现,从而闭合验证循环。例如,如果agent反复无法通过某个检查日志中用户数据的测试,你可以在CLAUDE.md中创建一个hook或一条更明确的规则,以避免未来再出问题。这(基本上)能阻止问题再次发生。
所以,如果验证对于以高速度产出高质量代码至关重要,那你应该使用哪些类型的测试,又该如何在整个流水线中应用它们?本文回答这些问题,并分享Claude Code团队所用的流程。
无论你选择哪种测试类型,都有几种失败模式要避免。
如果你的测试不稳定,你就会训练agent去重跑它们,而不是修复失败的代码。如果你的测试很慢,agent在批量之间做的测试就会更少,这会让定位问题变得困难。较重的测试最好在你提交更改之前部署。
下面是我认为最值得投入的三种测试类型。
如果你只能专注于一种测试类型,选端到端。这些测试描述真实的用户流程,比如把商品加入购物车、结账、进入确认页面。
E2E测试之所以如此有效,是因为它们很难被糊弄——要么整个功能能用,要么不能用。它们还有明确的完成标准,能具体告诉你哪里坏了。
虽然单元测试更快、更不容易不稳定,但有可能通过它们却仍然破坏了功能。这是因为agent和测试都没有理解完整任务。
有了E2E测试,让你的agent在真实运行的系统上拥有手和眼是有效的。你可以用一个skill来启动、驱动并检查应用,借助CDP、模拟器或API harness等工具。
功能地图可以作为agent的指南和评分标准,因为它们通常从用户视角列出功能,并描述路径、键盘快捷键、选择器和预期结果。
很多测试基于你认为可能出问题的地方。属性测试关注人们容易遗漏的边缘情况,而这正是agent经常失败的地方。
你先写一个你认为不可能失败的陈述,然后用测试库(JS/TS用fast-check,Python用Hypothesis,Rust用proptest等)生成成千上万的输入,试图证明它不成立。
几乎每个软件项目都有许多属性,比如:
属性库是让agent保持诚实的好方法,它使用的边缘情况不会与创建原始代码的agent带有相同的偏差。它们在重写时尤其有用,因为此时规格已经偏离了生产行为,不再是可靠的验证来源。
差分测试在功能预期保持不变的大规模迁移场景中尤其有效。对于这些测试,你用相同的输入同时运行旧系统和新系统,看结果是否不同。如果不同,就有bug或破坏性变更需要修复。
差分测试的关键是使用随机生成的输入或生产流量样本。你还需要归一化无关因素,比如空白字符,并维护一份已批准的变更列表,用于新环境应当与旧环境不同的情况。
我们之前写过Anthropic的代码审查如何运作,但本文旨在更深入地探讨我们如何验证自己的工作。
端到端运行应用比测试更重要。你不会没在模拟器里试过就发布iOS改动,Claude也一样。
Claude可以像人或QA工程师那样测试整个应用。让它对Web改动使用Claude Chrome扩展,对移动端使用iOS或Android MCP,对桌面端使用computer use,对后端工作则在本地运行服务。
为了把如何启动模拟器或运行应用固化下来,创建一个名为verify的skill。把它放在仓库的.claude/skills/文件夹中,尽可能靠近相关代码,需要多少就加多少。Claude知道在提交更改前使用verify skill。
然后投入精力让你的verify skill快速且可靠。让Claude对它迭代并进行压力测试。它是你的冒烟测试工具,所以你要它坚如磐石。
当你给Claude一种端到端冒烟测试其改动的方式时,你会得到好得多的结果。你会看到它像人一样迭代并更快地发现真正的错误。这就是我们在Anthropic测试几乎所有改动的方式。
没人能阅读每一处改动,所以我们把失败作为一种判断哪些需要人来看的方式。Claude运行检查并尝试修复任何失败的东西。如果某个检查在三轮之后仍然失败,Claude就停下来,引入人工处理。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。