
Google 开源文件系统 ABFS:将 Android 代码检出从 36 分钟压缩到 8 秒
来源标题:ABFS: Google's open filesystem that cuts Android checkout from 36 min to 8 s
Google 推出开源文件系统 ABFS,将 Android 代码检出时间从 36 分钟缩短到 8 秒。ABFS 已在 Android 开发者和智能体的并行工作流中投入使用,其设计目标是扩展到其他大型 Git 项目。AOSP 包含超过 3000 个 Git 仓库,典型 Android 代码树的代码量可达 AOSP 的 2 至 3 倍,构建 Cuttlefish 模拟器目标需执行 192249 个 Ninja 动作。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
ABFS 已在为 Android 开发者和智能体的并行工作流提供支持,但它的设计目标是扩展到其他大规模基于 Git 的项目。
在 Android 构建系统中,开发者在 Blueprint 文件(Android.bp)中定义构建规则,Soong 将其编译为 Ninja 文件,再由 Ninja 执行最终的构建图(参见 Android 构建概览)。与 Make 构建工具类似,Ninja 基于时间戳判断:如果某个构建步骤的输入文件比现有输出文件更新,Ninja 就会重新构建该输出文件。
对 Android 17 的 AOSP 代码进行分析,可以看出单次检出和构建所涉及的磁盘占用与文件数量之庞大。
在一个典型的 Android 代码树中——包含硬件相关仓库、板级支持包、一方应用、形态规格相关代码等——代码规模是 AOSP(超过 3,000 个 Git 仓库)的 2 到 3 倍,并且还要叠加多个活跃 SKU 分支和遗留维护分支。
构建 Cuttlefish 模拟器目标需要执行包含 192,249 个 Ninja action 的构建图。虽然代码树已经构建完成后,本地增量构建很快,但每个新工作区、每次切换分支或每个临时智能体会话都要从冷启动开始。
尽管开发者通常的改动只涉及 1 到 10 个不同的 Git 项目,但在 64 核机器上进行本地构建、且不使用任何远程执行的人,可能要多花最多 80 分钟去重复 CI 系统已经构建过的工作。即使开发者只是修改了像 system/libbase 这样的核心库,构建图中仍有 97% 与 CI 构建完全相同。
对于 Android 这样历史悠久、变更频繁的代码库来说,在 CI 和本地机器之间共享缓存的构建输出也很棘手。构建规则偶尔会引入隐藏依赖(例如在原始编译器参数中传入未声明的 schema 文件)、过度声明的输入或未声明的输出。在基于时间戳的构建中,隐藏依赖会悄无声息地产生过期的增量产物,迫使开发者清空输出目录并执行全量构建。
ABFS 通过用虚拟的内容寻址文件系统(CASFS)取代庞大的本地源码检出,让 Android 构建变得更快。ABFS 只在构建真正访问某个文件时才按需流式传输该文件,并利用共享构建缓存来帮助消除冗余的下载和编译。
在服务端,Git-pusher 持续将来自 Gerrit 或其他 Git 托管平台的新 Git 对象摄取到一个可水平扩展的 gRPC ABFS 内容寻址存储(CAS)服务器中,该服务器为 Git 内容、工作区快照和构建步骤结果建立索引。在开发者主机上,本地的最久未使用(LRU)Cacheman 守护进程、Mount Daemon 和 Tap 工具将用户态构建工具连接到内核文件系统,使检出和构建只流式传输它们真正需要的内容。完整的 ABFS 架构见 GitHub。
客户端的核心是一个名为内容寻址存储文件系统(CASFS)的虚拟文件系统,它是一个 Linux 内核模块,通过扩展属性暴露 Git SHA 内容哈希。当设置某个文件的哈希后,CASFS 会立即填充其元数据,并仅在需要时通过 Cacheman 下载文件字节:
$ touch hello $ abfs hash --set cc628ccd10742baea8241c5924df992b5c019f71 hello # 仅元数据 $ ls -l hello # 名称和大小可用;内容尚未下载 -rw-r----- 1 user primarygroup 6 Nov 3 00:11 hello $ cat hello # 首次读取时惰性加载内容 world Shell 已复制
初始检出只下载预填充了 Git 哈希的轻量目录元数据。CASFS 原生使用 Git 的对象模型,使标准的 git 和 repo 操作可以透明地工作。
CASFS 还可以挂钩构建进程。挂钩会把实际读取、写入或删除的每个文件记录到称为 patch 的列表中,这些列表与缓存的构建输出一起存储。Ninja-go 用两阶段的内容寻址缓存取代时间戳检查:
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。