返回资讯中心
外部精选
软件工程
#开发者实时流

谷歌推出 ABFS 构建文件服务,Android 代码检出从 36 分钟缩短至数秒

来源标题:ABFS: Another Build File Service

谷歌发布 ABFS(Another Build File Service),将大型代码仓库的检出和构建时间大幅缩短,内部 Android 检出已缩短至秒级、构建缩短至分钟级。测试显示,Android 代码检出平均耗时从传统方式的 36 分 19 秒降至空缓存 7.4 秒、热缓存 3.6 秒,最高加速 605 倍。该服务初期聚焦加速 Android 开发,同时正在推进对 Bazel 的支持。

Hacker News 最新jamesblonde2026/11/18 · 今天23 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

Another Build File Service (ABFS) 可加速大型代码仓库的检出与构建。最初的关注点是加速 Android 开发,不过目前也有工作正在为其添加 Bazel 支持。在 Google 内部,我们看到 Android 检出只需数秒,构建只需数分钟。

ABFS 支持轻量级代码检出,并让构建能够共享此前已执行构建动作的缓存。如果你有 CI 在运行构建、有多个开发者在运行构建,或者需要跨多个 Android 分支开发,ABFS 都能帮到你。

以下是在一台 GCE n2d-standard-64 VM(64 vCPU、256GB 内存)上进行 3 次 Android 检出与构建的平均耗时。ABFS 远程服务器与客户端运行在同一个 VPC 中。

平均耗时 加速比 传统方式 36m19s 1.0x ABFS 挂载,本地缓存为空 7.4s 294.5x ABFS 挂载,本地缓存已预热 3.6s 605.3x

“传统”流程使用 Android 文档(见此处)中记载的 repo init --partial-clone 和 repo sync -j8(更高的 -j 值会触发 android.googlesource.com 上 Gerrit 的限流)。

平均耗时 加速比 传统方式 1h20m35s 1.0x ABFS 构建,禁用缓存使用 1h39m11s 0.81x ABFS 构建,本地缓存为空但远程缓存完整 2m11s 36.9x ABFS 构建,本地缓存完整 1m19s 61.2x

以上所有构建均使用 lunch aosp_cf_x86_64_only_phone-aosp_current-userdebug 和 m droid 进行。

“ABFS 构建,禁用缓存使用”比传统构建更慢是预期之中的。ABFS 的加速来自对先前已构建动作的缓存与复用。如果某个构建步骤是首次执行,ABFS 仍然需要执行该步骤。ABFS 的内容寻址存储文件系统(CASFS)为了实现内容寻址特性存在一些额外开销,另外还有“tapping”带来的开销。Tapping 会记录每个动作实际的读/写/删除操作。tapping 特性使构建步骤的缓存成为可能。

“ABFS 构建,本地缓存为空但远程缓存完整”是开发者在编辑文件之前可以预期的常见体验。他们可能会频繁同步到 HEAD 或检出新的分支。当他们首次构建时,会从远程 ABFS 构建缓存中拉取内容,该缓存已由持续集成环境或其他开发者填充。

ABFS 的核心是一个内容寻址存储文件系统(CASFS),以内核模块的形式实现在 github.com/google/abfs-casfs。这个自定义文件系统使目录结构和文件信息可即时可用,而文件内容则按需惰性加载和流式传输。这使得检出只需数秒,因为客户端只需下载项目和目录信息。

除内容寻址存储文件系统之外,还有内容寻址构建。传统 Android 构建使用 Soong 生成 ninja 文件,然后使用 Ninja 执行这些 ninja 文件。Ninja 与 Make 类似,都使用文件的修改时间戳来判断何时需要重新构建某个输出。Ninja-go(github.com/google/ninja-go)是我们与 ninja 兼容的实现,支持多种后端。该仓库包含一个内容寻址的后端。Ninja-go 可以使用文件内容哈希来判断何时需要重新构建某个输出,它还能与共享远程缓存配合,以读取和写入构建步骤。

关于客户端与服务器组件、CASFS tapping 以及两阶段构建缓存的详细说明,请参阅 ABFS Architecture 指南。

网络性能差 —— ABFS 高度依赖远程缓存。你可以把它想象成一个要求更高的网络文件系统,因此 ABFS 要求客户端在线并具备良好的网络性能。

人员配置要求 —— 远程缓存包含多个服务(见 System Admin 文档),需要由系统管理员维护。此外还需要监控,以确保构建的确定性,并尽量减少开发者引入的非封闭构建步骤。

资源成本 —— 尽管全面采用 ABFS 预期会通过利用缓存和减小客户端占用来降低整体机器开销,但初始搭建需要额外的算力以及大量缓存存储空间。

非确定性构建 —— 如果你维护的 Android 分支存在非确定性的构建步骤,ABFS 对这些步骤无能为力。ABFS 优先考虑正确性而非缓存命中率。日期、时间、构建编号等都可能污染文件名和文件内容,从而降低缓存命中率。此外,每个构建步骤可见的环境变量必须一致才能命中缓存,因此禁用 Soong 沙箱或以其他方式改变环境变量都会降低缓存复用。不过,ABFS 确实提供了特性和工具来发现并诊断这种非确定性,从而帮助你修复有问题的构建步骤。参见 ABFS Expert/Build Hygienist 文档。

前置条件

你的机器上可能已安装这些,如果没有则需安装:

sudo apt-get install build-essential golang-go

查看 go.mod 了解当前所需的 golang 版本。Go 1.21 增加了在缺失时自动下载所需 golang 版本的功能,因此 1.21 是最低要求。

这会请求 sudo 权限,对 casfs-mounter、casfuse-mounter 和 abfs-resources 这几个二进制文件运行 setcap。如果你希望自己执行,请设置 SKIP_SETCAP=1 并阅读 Makefile 自行运行 setcap。

make 会将二进制文件安装到 Go 的 bin 目录($(go env GOPATH)/bin,通常是 ~/go/bin,或者你设置的 $GOBIN)。请确保它在你的 PATH 中:

export PATH="$PATH:$(go env GOPATH)/bin"

将该行添加到你的 shell 启动文件(例如 ~/.bashrc 或 ~/.zshrc)使其永久生效,然后打开一个新的 shell 并检查:

which abfs

仅安装 abfs 后,你就可以设置后台 systemd 服务(cacheman)、检查和操作远程对象、运行 CAS 服务器、运行 git-pusher 服务器等。因此,如果你只是要搭建一个 CAS 服务器,可以跳过下面的“安装 CASFS”一节。不过,如果你想挂载并构建 Android,则需要继续安装下面的 CASFS。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →