
Velarx:用 Rust 编写、从签名到页面读取全程验证的容器引擎
来源标题:Velarx: A container engine with a chain of trust from signature to page reads
开发者发布用 Rust 编写的容器引擎 Velarx,基于 composefs 构建,目标是与 Podman 性能相当并实现从镜像签名到内核读取每一页的完整验证。它按 fs-verity 摘要将每个文件以对象形式存储一次,层不展开为目录,而是元数据 EROFS 镜像加重定向存根,共享层只需构建一次。项目大量借助 AI 快速原型,目前可运行真实镜像。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
最近几周我一直在开发 Velarx,这是一个用 Rust 编写的容器引擎,从设计之初就以 composefs 为核心。我大量借助 AI 来制作原型,否则短短几周内不可能做出一个能运行真实镜像、还能与 Podman 对比的东西。和 composefs 一样,它按每个文件的 fs-verity 摘要来存储文件。这个名字来自拉丁语 velox(迅捷)和 arx(堡垒),这也正是它的两个目标:必须快,而且所运行的一切都要从镜像签名一路验证到内核读取的每一页。
每个层的每个普通文件都只存一份,放在 objects/ 下,以其 fs-verity 摘要命名,就像 composefs 仓库那样。层从不会被解包到目录里。层是一个目录表加上一个只含元数据的 EROFS 镜像,其中每个普通文件都是一个桩,用 trusted.overlay.redirect 和 trusted.overlay.metacopy 指向对应的对象并携带其摘要。这正是 composefs 封装那篇文章里的布局,只不过每层一个 EROFS 镜像,而不是每个镜像一个,因此被多个镜像共享的层只会构建一次。
一个文件并不存在单一的 fs-verity 摘要:它取决于哈希算法、Merkle 树块大小和盐值。Velarx 使用与 composefs 相同的参数:基于 4096 字节块的 SHA-256(或 SHA-512),不加盐,对象名也体现了这一点,形如 fsverity-sha256-12:<hex>,其中 12 是块大小的 log2。所有逐文件的工作——哈希、启用 fs-verity、写 EROFS 镜像——都在 pull 结束时完成。于是启动容器的开销与镜像大小无关,没有什么需要解包或 chown,只需要几次挂载。
其余一切都在一个 SQLite 数据库里:容器、镜像、层、目录表、每个文件以及引用它的层、网络与 IP 分配、端口、卷、secret、构建缓存,以及无根用户的命名空间。Podman 把同样的信息分散在 containers/storage 的 JSON 文件及其锁文件、libpod 数据库、netavark 配置及其 IPAM 数据库和一个 secrets 文件里。只有一个数据库时,牵涉其中多项的改动就是一个事务,垃圾回收也只是一条查询,找出不再被任何层引用的文件。
与 Podman 不同,这里没有 conmon 外部进程去等待容器进程并调用 podman container cleanup。每个容器有一个 velarx-monitor 进程,它自己知道如何做清理,因此不会再去 spawn 另一个进程、背上 Podman 那套加锁的全部复杂性。这个 monitor 还负责通过 FUSE 为无根用户提供文件服务,模拟 EROFS 内核驱动。
这里也没有 pause 进程。在无根模式下,一个用户的所有进程在本次启动期间共享一个用户命名空间和一个挂载命名空间,除了活在这些命名空间里的进程之外,没有任何东西维持它们的存活。数据库通过各命名空间 nsfs 文件的 file handle 来记录它们——file handle 与 inode 号不同,具有唯一 ID——因此命令永远不会加入一个已被回收复用的命名空间。
不需要守护进程,每条命令都可以像 Podman 那样在自己的进程里运行引擎。当存在守护进程时,Podman 和 Docker 客户端使用的 REST API 以及 CRI 服务器是各自独立的进程,只负责协议转换,无法访问存储。registry 客户端和解压也运行在各自的进程里,处于 Landlock 和 seccomp 之下,因此解析来自网络的数据的代码永远碰不到存储。
我在一台 Fedora 44 虚拟机上把 Velarx 与 Podman 5.8.9 做了对比,环境是 7.4-rc2 内核、16 个 vCPU、4 GB 内存,分别以 root 身份运行,使用 crun 1.30,从 localhost 上的 registry 拉取。Podman 不使用 fs-verity,为了对比同样的工作,两个存储都放在 XFS 根文件系统上,Velarx 在该文件系统上不启用 fs-verity 也能运行。小镜像是 alpine,一个层 3.9 MB(解压后 8.7 MB),大镜像是 python:3.12,7 个层共 412 MB(解压后 1.13 GB),两者的层都采用 Docker Hub 上的 gzip 格式:
运行 python:3.12 的开销与运行 alpine 相同,而 exec 大约快 7 倍。
policy.json 中的签名覆盖 manifest。manifest 含有 config 和各层的摘要,并为每个层带一个 io.containers.composefs.digest 注解,内容是它 EROFS 镜像的 fs-verity 摘要。EROFS 镜像中含有每个文件的 fs-verity 摘要,内核据此校验每个文件:
1 2 3 4 5 6 7 8 9 10 11 12 13 policy.json | 对 manifest 的签名 v manifest | 每个层的 io.containers.composefs.digest v 每个层的 EROFS 镜像 | 桩中每个文件的 fs-verity 摘要 v objects/<fs-verity digest> | overlayfs verity=on 或 verity=require v fs-verity 在读取时校验每一页
要让这一切成立,镜像以修改过的 zstd:chunked 格式推送。zstd:chunked 的目录表本就列出了每个文件及其分块。Velarx 增加了一个 fsverity 字段,写入每个普通文件的 fs-verity 摘要,格式为 sha256-12:<hex>,使算法和块大小成为值的一部分,同时在 manifest 中为每个层加上 io.containers.composefs.digest 注解。有了目录表中的摘要,拉取方在下载之前就知道每个文件在存储中会叫什么名字,于是可以跳过已有的内容、向其他节点索取,并在每个文件到达时进行校验。有了 EROFS 摘要,拉取方根据目录表构建出的镜像就可以与发布者签名的内容进行比对。由其他工具推送的镜像两者都没有,因此会被急切拉取并在本地计算摘要。它们仍然可以运行,但信任链止于 manifest。
每次启动时,引擎都会用 FS_IOC_MEASURE_VERITY 测量每个层镜像——由于内核已有 Merkle 树,这一步是常数时间——并与 manifest 比对。随后同一个打开的文件通过 FSCONFIG_SET_FD 传给 EROFS,因此在检查与挂载之间没有任何东西能被调包。运行时
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。