返回资讯中心
外部精选
软件工程
#开发者实时流

研究者探讨如何将Nix的密封构建与Bazel的高效增量调度结合

来源标题:Build systems à la trace

一篇技术文章探讨了将Nix的密封构建保证与Bazel的高效调度和增量重建相结合的可能性。文章借用Build Systems à la Carte论文的框架,将构建任务分为依赖静态可列的applicative任务和执行中动态发现依赖的monadic任务,指出Nix自身依赖需预先声明,但其编排的许多构建任务实为monadic。

Hacker News 最新setheron2026/11/19 · 今天26 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

作为构建系统的爱好者,Build Systems à la Carte 是我最喜欢的论文之一。它定义了一种思考构建系统的方式,既精确又出奇地实用。作为 Nix 的爱好者,我深深钟情于封闭式构建(hermetic build)——每个依赖都被显式声明,构建过程可以复现。我之前已经探索过在 Nix 中利用 Guix derivation 的想法,方法是证明任何声称封闭的系统都可以被转换成另一个无损的系统。这个想法还能应用到哪里呢?

构建系统的圣杯是将两个世界的最佳之处结合起来:Nix 的封闭性保证,加上 Bazel 这类系统的高效调度和增量重建。用论文中的术语来说,它把任务定义为 applicative 或 monadic。Applicative 任务具有静态依赖,可以在运行任何东西之前列出;而 monadic 任务则在任务执行过程中动态发现依赖。尽管 Nix 自身的依赖必须预先已知并声明,但它编排的许多构建任务都是 monadic 的,在执行过程中动态发现它们的依赖。

有没有可能把 monadic 构建——比如 Nix 编排的那些——转换成 Bazel 能够理解并高效调度的 applicative 形式?如果我拥有每个构建动作的完整 trace,能通过观察 Nix 构建一次 hello 就写出那张图呢?如果我有一个确定性 VM,能精确重放原始构建期间发生的每一次系统调用和文件访问呢?结果发现,也许有点显而易见,如果你拥有构建执行的完整 trace,那么把 monadic 构建追溯性地转换成 applicative 构建是可行的。借助 Rewind,我们可以录制一次 Nix 构建,跟着它 à la trace,11 原来 trace 在法语里是“沿着某物留下的痕迹追踪”的意思。这让我很开心。 并生成一个 BUILD.bazel 和 BUCK 文件,让 Bazel 和 buck2 仅用 genrule 就能构建出逐比特完全相同的东西。

tl;dr genrulify 接受由 Rewind 录制的 Nix 构建,并将其编译成 BUILD.bazel 和 BUCK 文件,里面只有 genrule,构建运行的每条命令对应一个。GNU hello 用两个工具以这种方式构建,得到的 NAR hash 与 cache.nixos.org 提供的一致。在 fzakaria.github.io/genrulify 上可以浏览示例包。

创建 trace 以将一个构建系统转换成另一个的想法并不新鲜。其他工具之前也探索过这个领域,通常依赖系统调用追踪、strace 或类似机制来推断依赖。Rewind 在确定性 VM 中运行 Nix 构建,并允许我们回退到任意步骤,因此默认情况下我们就拥有了整个构建执行的 trace。

旁注: 刚接触 Rewind?从你只遇到一次的 flaky 构建开始,还有 dafuq 是一个确定性 VM 吗?

实际上我们拥有的不止是 trace,我们在构建的每一步都拥有完整的文件系统状态。这让我们能够精确重建每个进程看到的内容,逐字节地。

$ rewind cat --archive tar 534fa58c62c668f8 2607 /build | tar -t
build/
build/env-vars
build/source/
build/source/LICENSE
build/source/main.cpp

结果发现,当你试图构造准确的构建依赖时,拥有文件的内容或其哈希是非常有用的。不过,Nix 构建是一系列复杂的 shell 命令、环境设置和文件操作,全部由 Nix builder 编排:一个 bash 进程,运行 stdenv 的 setup.sh,然后执行构建命令。

为了转换,需要捕获的重要工作单元是什么?如果我只是把整个 Nix 构建包装成一个单元,我就会失去我费心迁移到 Bazel 或 Buck 所追求的所有粒度好处。作为默认起点:我把 builder 以及它 fork 的每个子 shell 称为 driver。一个 cut 是 driver 进程调用 execve 的时刻。从那时起直到该进程及其子进程退出,是一个工作单元。

然而,仅仅拆分录制是不够的。我们还需要考虑许多构建工具会原地修改文件,22 例子包括 ar 向归档追加内容、strip 原地重写二进制文件、configure 向 config.log 追加内容。 这与 Bazel 和 Buck 的单生产者要求相冲突。Bazel 和 buck2 要求每个文件恰好有一个生产者。幸运的是,这是编译器在 1980 年代就解决的问题。一个被赋值两次的变量变成两个值。静态单赋值,但针对的是文件。困惑了吗?

${dd} if=${header} of=bundle status=none
${dd} if=${body} of=bundle oflag=append conv=notrunc status=none
${dd} if=bundle of="$out" status=none
 dd #1
 dd #2
 dd #3
 /build/bundle
 %dd_735 cb94…
 /build/bundle
 %dd_764 50f5…

追加操作读取 %dd_735 并定义 %dd_764。尽管路径 /build/bundle 在文件系统中只出现一次,但它在构建图中实际上有两个不同的版本。还记得我说过能访问每个文件版本的内容会非常有用吗?这正是原因:同一路径可以有多个版本,我们需要区分它们。

我在 $DAYJOB$ 使用 LLVM 已经有一段时间了,也短暂接触过 MLIR,这是一个编译器基础设施,可以轻松定义新的中间表示及其上的变换。这似乎很适合表示构建图,因为每个文件版本可以被视为一个独立的实体,它们之间的关系可以被显式捕获。33 如果你想要另一个理由:我也喜欢学习新东西并从中获得乐趣。我喜欢尝试新工具和技术。 我们的 /build/bundle 例子转换成 MLIR 看起来是这样的:

%sandbox_717 = splice.literal "sandbox" at 717 -> [
 #splice.entry<"/build" dir 700 mtime 1>
%dd_735 = splice.exec "dd" at 735(%sandbox_717) -> [
 #splice.entry<"/build/bundle" file 644 mtime 1 "cb94740a…">
%dd_764 = splice.exec "dd" at 764(%sandbox_717, %dd_735) -> [
 #splice.entry<"/build/bundle" file 644 mtime 1 "50f55425…">

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →