
Nextest 作者谈如何用 Claude Code 和 Codex 辅助编写安装脚本
来源标题:Designing Nextest's Install Scripts
Rust 测试工具 Nextest 作者介绍了其安装脚本的设计方式:清单格式和 well-known URL 位置由他本人设计,Claude Code 和 Codex 主要承担实现与测试工作。他明确反对把这类基础设施级软件交给「vibed」式快速生成,而是谨慎使用 LLM、把大部分精力放在验证上,以提升严谨性。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
安装流程——比如 manifest 格式以及放在 well-known URL 上的位置——基本上是我自己设计的。不过 Claude Code 和 Codex 在实现和测试上帮了我大忙。
使用它们的一种方式,我称之为“凭感觉”(vibed)方法:
这就是为什么你最终会得到包含数百行重复代码段的安装脚本。今年早些时候,一个热门项目的安装脚本就成了这种模式的典型反面教材。
但“凭感觉”这种方法并不是我开发供他人使用的软件的方式。首先,nextest 不是我的全职工作,我不想疲于应付源源不断针对它提交的 issue。更重要的是,我认为用这种方式构建基础设施级别的软件——无论它在技术上有没有可取之处——都违背了我的价值观。我不会为了更快地发布这类东西而放弃自己的价值观。
那么我是怎么用 LLM 做这件事的呢?非常谨慎,而且是以一种比手写脚本更严格为目标的方式。
在 LLM 这一侧,投入精力最多的无疑是验证。根据我在工作中做项目的经验,我知道 LLM 在构建测试框架方面可以非常彻底,而这种事若手工完成需要数周持续投入。所以很早我就决定为安装脚本构建一套自动化测试框架。该框架定义了数十个用例,包含预期输入和行为,并在多种 shell 上运行。框架还包括:
所有这些原则上都在我的能力范围内,但要在合理时间内完成则不现实。不过,一旦想要测试的高层属性被定义清楚——比如下载卡住时的超时处理——LLM 就非常擅长这种填空式的语义补全。
另一大块工作在人这一侧,也就是设计评审。随着我在 agentic 工具上积累经验,我逐渐形成了一种相当特定——有人可能说古怪——的使用方式。我先让两个不同的 LLM 对代码做自动化评审³,之后花大量时间人工审查代码。
我怎么确保自己真的在认真看要评审的代码呢?对我来说,最有效的技巧是禁止 agent 在不加特殊标记的情况下写注释。说实话,我受不了 LLM 写的技术文字,这些工具产出的注释一律很糟糕。但另一方面,当我被迫去写某段代码为什么这样写、怎么写成这样时,我总能发现数量惊人的问题。这次工作中我发现的问题包括:
测试在验证所有可能的非默认选项方面极其全面,但偏偏没有针对最基本的无选项 happy path 的测试。我在评审进行到大约三分之一时意识到这一点,并据此对测试框架做了大幅返工。
在测试框架中,SHA-256 哈希被表示为 Rust 的 String,测试还做了一种奇怪的大小写不敏感比较。我把它换成了我为 Oxide 写的 byte-wrapper crate,它提供了 HexArray<N> 这个 newtype⁴。
脚本最初允许 HTTPS 到 HTTP 的重定向,测试还验证了这种场景可以正常工作。这当然是完全错误的。现在这类重定向已被禁止。
Unix 测试验证了信号能触发清理,但最初 Windows 上没有 Ctrl-C 测试。现在有了。
这些缺陷的一个共同主题是:LLM 往往会选定一个山头去爬,然后尽可能彻底地爬上去,却不先问这是不是该爬的那座山。HTTPS 到 HTTP 重定向就是一个相当醒目的例子:在某个时刻,Claude 认定脚本就应该这么做,然后把它写进了测试套件。后续 Claude 和 GPT 实例做的自动化评审很可能让它们得出结论:“哦,测试验证了这类重定向能工作——显然这是预期行为”。这需要人类的判断力来认定:不,这是错的。
总的来说,人工评审在 4 个周末里花了大约 25 个小时。最终结果是约 10,000 行代码的改动,其中大部分是测试——与 LLM 最初做出来的东西大不相同,也是我认为自己可以为之负责的成果。我确信之后还会有一些零星的 bug 修复,也许某个时候还会有较大的功能开发,但总体而言我认为这项工作已经完成。
这项工作被通用地实现在 mukti 中,其他项目也可以复用。我不完全确定 mukti 是否已经适合公开使用,但离那一步不远了。鉴于效果这么好,也许是时候把 mukti 推进到正式发布阶段了。也许假期里吧!
如果一件事值得做,是否就值得做好?还是说应该草草了事?过去一年软件行业经历了惊人的转变。令我沮丧的是,很多本该更明白事理的人选择了后者。我不是说草草了事没有用武之地,但我认为别人所依赖的基础设施需要一种审慎、细致的做法,而我尽可能努力做到这一点。
实际来说,每当我使用 LLM,我都忍不住要缓慢而谨慎地与它们同行。我发现它们在达到我以前只能梦想的严谨程度上功不可没,但模型在不同会话之间学不到太多东西,这意味着它们会继续犯低级错误。我的工作流程让我在当下比那些一次性生成软件然后走人的人慢得多,但从长远看,它让我能真正完成一个组件、相信它能工作,并帮助我用设计良好的部件构建可靠的系统。我希望如果你选择使用 agent,这篇文章能启发你拥有类似的心态。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。