GHS用AI优化Git性能,单库18小时处理24万次提交
来源标题:30k Merges a Day Isn't the End of Git: Scaling Version Control
GHS(Git-at-High-Speed)通过自适应技术让标准Git在生产仓库18小时内完成24万次提交,是Anthropic日均3万次合并的八倍且耗时仅为四分之三。该项目回应了Anthropic称Git无法承受日均3万次合并而自研版本控制引擎Scion的说法。Git本身也在推进可插拔存储后端,相关方案已在JGit中探索并即将进入CGit。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
TL;DR:Git 在每天 30,000 次合并面前并不会崩溃;崩溃的是过时的技术手段。GHS(Git-at-High-Speed)用 AI 本身来应对 AI 驱动的负载,通过自适应技术让仓库始终保持最佳性能。在 GHS 的辅助下,标准 Git 在一个真实的生产仓库上于 18 小时内承受了 240,000 次提交:是 Anthropic 日均数字的八倍,而用时只有其四分之三。而且 Git 本身也在不断突破边界,可插拔存储后端率先在 JGit 中实现,如今正进入 CGit。
首先,该给的肯定要给:Anthropic 声称他们打造了 Scion——他们自研的服务端版本控制引擎——以及 Antique——他们的代码审查工具(我猜这也是对 Google 代码审查工具 Critique 的致意)——并在五个月内将整个 monorepo 迁移到上面,团队只有七个人,这是一项了不起的工程成就,也说明我们正身处一个令人兴奋的时代。
然而,这次迁移最抓人眼球的理由引起了各地系统工程师的注意:Git 根本扛不住每天 30,000 次合并。对我们这样的团队来说,这个说法听起来不太对劲——我们在全球最大规模的 Git 部署中摸爬滚打了十多年,我们很清楚,我们的客户远远超过这个数字,所以我们不得不仔细看看。
乍一看,24 小时内 30,000 次合并听起来很惊人。这相当于每秒约 0.35 次合并,昼夜不停。对源代码管理领域之外的人来说,这就像一堵无法逾越的高墙。然而大型企业早就在这个量级上运行了:拥有数千名工程师和成群 CI bot 的繁忙仓库,多年来一直在把 Git 服务器推到这样的强度。
真正变化的是谁能达到这个量级。在 AI 驱动的软件开发时代——Claude Code 和自主 agent 这类工具每分钟生成、测试并提交数百个细粒度变更——每天 30,000 次写操作不再是最顶尖工程组织的专属。规模小得多的公司现在也能达到这些数字,而它们正迅速成为机器驱动代码库的新基线。
真正的问题不在于每天 30,000 次合并是不是巨大的负载。问题在于:这是 Git 数据模型的架构性失败,还是基础设施与调度层面的瓶颈?
历史——以及现代高速 Git 服务器架构——表明是后者。
在断定 Git 在高写入频率下需要彻底替换之前,不妨看看过去十年科技巨头是如何处理海量版本控制吞吐的:
Microsoft 与 Windows Mono-Repo:Microsoft 将 Git 扩展到承载世界上最大的单一代码仓库(Windows 代码库:350 万个文件、300GB+ 的对象数据库)。通过 VFS for Git(现为 Scalar),他们证明了 Git 客户端侧的瓶颈——比如在数百万个文件上跟踪工作目录状态——可以在不改变底层 Git 有向无环图(DAG)的情况下被虚拟化。
Google 与 Meta:Google 打造了 Piper,并搭配其 Critique 代码审查工具——很像 Anthropic 把 Scion 和 Antique 配对——而 Meta 开发了 Sapling/Mononoke。两家都选择自研后端来应对 monorepo 规模(数十亿文件、数千名工程师检出树的子集),这正是 Scion 要解决的问题。
高频 Bot 流水线:大型企业长期以来运行 CI/CD 系统,每天执行数万次自动化合并、rebase 和 bot 驱动的集成事件。我们已经证明,基于 Gerrit Code Review 和 Zuul 构建的部署可以远超这些数字,轻松达到每天数十万次操作。
每天 30,000 次合并并非未知领域。那么为什么 Git 在 Anthropic 那里崩了?
要理解为什么标准的 Git 服务器部署在 agent 驱动的高强度负载下会失败,你必须看看当数千个并发合并涌向中央仓库时,底层发生了什么。
正如我们在 GHS 性能分析中提到的,每次 push 或 fetch 都会让 Git 遍历提交图,统计它需要的对象(Counting),并扫描现有 packfile 寻找可复用的对象(Search-For-Reuse,即 SFR)。随着持续合并堆积出大量 packfile 和松散对象,这两个阶段都会变慢。当不受协调的 git gc 终于启动清理时,它们会与入站流量争抢 CPU、I/O 和锁,直到服务器的线程池被耗尽。
在默认的 Git 服务器配置下,每次 push 都会落成一个新的 packfile 或一批松散对象,因此高频写入很快就会生成成千上万个。为了保持读操作快速,Git 依赖周期性的垃圾回收(git gc)来合并 packfile、生成 commit-graph 索引,并重新计算可达性位图。问题在于,gc 的成本随仓库规模增长,而不是随最新变更的规模增长:仓库越大越繁忙,每次运行就越昂贵,两次运行之间留给服务用户的时间也越少。
Packfile 碎片化:随着成千上万个小合并落地,对象查找会退化,因为 Git 必须扫描数百个未建索引的 packfile。
Search-For-Reuse(SFR)膨胀:在 fetch/pack 创建期间,Git 花费指数级的 CPU 周期在碎片化的存储中搜索已有的 delta。
GC 尖峰:当 git gc 终于触发时,它消耗大量 I/O 和 CPU,锁住 ref,并给入站写入造成严重的延迟尖峰。
这就形成了一条锯齿状的性能曲线:写入延迟起初很低,在维护期间灾难性地飙升,最终导致线程池耗尽和超时连锁反应。
这些年来当然取得了进展:增量重打包和几何重打包、multi-pack index、multi-pack bitmap,都减少了每个维护周期需要做的工作量。但问题远未解决,最近 GitHub 的几次故障就是明证。
GHS:优化 Git,而不是替换它
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。