返回资讯中心
外部精选
软件工程
#开发者实时流

开发者用hotpath-rs在GitHub CI中自动检测Rust性能回归

来源标题:Rust Benchmarking: How to Detect Performance Regressions in CI

在GitHub Actions上重复运行同一Rust基准测试100次,墙钟时间波动近3倍,而CPU指令数波动仅0.13%、内存分配字节数完全一致,说明基于指令数的指标更适合检测性能回归。作者随后介绍如何用hotpath-rs配合Callgrind指令计数、Criterion.rs扩展及可配置的回归策略和性能预算,在GitHub CI中自动发现性能回归。

Hacker News 最新pawurb2026/11/11 · 6 天前30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

我在GitHub Actions上把完全相同的Rust基准测试运行了100次,一行代码都没改。实际耗时(wall-clock)波动接近3倍,而CPU指令数波动保持在0.13%以内,分配的字节数在每次运行中完全一致。

这篇文章里,我会介绍如何用一套(大部分)确定性的性能基准来对hotpath-rs做性能剖析。内容不少:Callgrind CPU指令数、x86与ARM的对比、扩展现有的Criterion.rs基准,以及底层优化。最后,我会展示如何把不同的指标与可配置的回归策略和性能预算结合起来,借助hotpath-cloud在GitHub CI中自动检测性能回归。

这篇博客聚焦CI集成。监控项目性能最有效的办法,是尽可能把回归测试自动化。在AI辅助开发的背景下,手动性能检查很难跟上代码变更的速度。

目标说起来“简单”:让性能回归测试变成那种你可以一直忘掉、直到出问题才想起来的东西。

我用hotpath-rs profiler来剖析它自己。自从hotpath-cloud发布beta版以来,我已经从这个项目的仓库里收集了近2千份基准报告。这个数据集不仅揭示了库本身的性能,也揭示了它运行所在的CI基准测试环境的有趣信息。

那我们先来分析GitHub CI runner上的性能噪声和方差。

以下分析通过hotpath-cloud的MCP和CLI集成完成。它提供只读访问和查询能力,可查询来自已集成仓库的公开基准报告。

hotpath-rs用一组基准来监控自身关键的性能方面。其中一些被设计为执行100%固定的工作流。drain基准测量收集100万个profiling信号的额外开销。它把这些信号发送到后台线程处理,使用的是hotpath-drain crate中自定义的环形缓冲区数据结构。

为了单独测量CI噪声,我开了一个完全不改代码的pull request。它从相同的源代码和配置出发,把同一个drain基准跑了两遍:drain跑在x86 runner上,drain-arm跑在ARM runner上。然后我往这个分支推空提交,直到每个基准都在什么都没变的情况下被重新构建并执行100次。

你可以用hotpath cloud CLI查看这100次x86运行各自的总实际耗时: hotpath cloud reports --repo hotpath-rs/hotpath --benchmark drain
--pr 817 | jq '[.reports[].totals.elapsed]'

["68.32 ms","68.75 ms","83.74 ms","71.73 ms","71.08 ms","67.94 ms", ...]

基准源代码和配置在这100次运行中始终不变,但执行时间从35 ms到98 ms不等,跨度接近3倍!

部分原因藏在基准报告的元数据里: hotpath cloud reports --repo hotpath-rs/hotpath --benchmark drain
--pr 817 | jq '[.reports[].user_metadata.cpu]'

["AMD EPYC 9V74 80-Core Processor","INTEL(R) XEON(R) PLATINUM 8573C",

"AMD EPYC 9V74 80-Core Processor","AMD EPYC 7763 64-Core Processor",

"Intel(R) Xeon(R) Platinum 8370C CPU @ 2.80GHz", ...]

看看这张由这个pull request的100次x86运行生成的表: 检测到的波动,一个原因是GitHub Actions会把不同的CPU型号分配给不同的运行,而这些型号的性能特征差别很大。但硬件差异并不是全部。

即使只看同一AMD EPYC 7763 CPU型号上的41次运行,执行时间也从69.73 ms到89.60 ms不等,跨度1.28倍。

除了x86架构,GitHub CI也支持ARM runner。同一个pull request里的drain-arm基准就跑在ARM上。它和drain的源代码、配置完全相同,只是编译目标从x86换成了ARM。我们来分析它100次运行的实际耗时: hotpath cloud reports --repo hotpath-rs/hotpath --benchmark drain-arm
--pr 817 | jq '[.reports[].totals.elapsed]'

["44.80 ms","30.22 ms","32.12 ms","34.50 ms","29.21 ms","32.43 ms", ...]

以及它运行所在的CPU型号: hotpath cloud reports --repo hotpath-rs/hotpath --benchmark drain-arm
--pr 817 | jq '[.reports[].user_metadata.cpu]'

["Neoverse-N2","Neoverse-N2","Neoverse-N2","Neoverse-N2", ...]

这100次运行中有99次拿到了相同的Neoverse-N2 CPU型号。全部100次运行的实际耗时从28.79 ms到57.37 ms不等,跨度接近2倍。由于x86和ARM构建产物是不同的二进制文件,比较它们的绝对执行时间没有意义。

有意思的是,排除掉那唯一一次Neoverse-V3运行后,结果几乎不变。剩下99次Neoverse-N2运行仍然从28.97 ms到57.37 ms不等,跨度1.98倍。这说明使用相同的CPU型号并不能消除CI计时噪声。

值得一提的是,drain基准并不是简单的单线程计算。它测量的是跨线程通信开销:被测代码把profiling事件推入环形缓冲区,同时一个后台线程消费它们。相比只在一个线程上做数值计算的合成基准,它更容易受线程调度和运行间方差的影响。但这种跨线程交接正是hotpath-rs在生产环境中所做的事,所以它才是我真正需要跟踪的基准。合成的单线程基准能给出更干净的数字,但它们很少能代表真实的生产负载。

相同运行之间的计时波动高达2-3倍,仅凭实际耗时测量无法区分真正的性能回归和有噪声的runner。它给不了你任何稳定的东西去迭代,更别说作为可靠信号来卡pull request了。我们显然需要另一种方法。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →