
团队放弃megakernel方案,改用CUDA Graphs实现98%性能
来源标题:Last year we built megakernels. This year we deleted them: The road to TKCC
某团队去年构建的AI megakernel虽速度破纪录但难以落地,最终仅支持一个模型、一个批量大小和一个客户。今年他们用CUDA Graphs和PDL配合默认Torch Inductor内核,无需编写内核即恢复98%的megakernel性能,并通过multi-kernels和agent循环在H100上跑Llama 1B达到超1100 TPS,比旧方案快1.7倍。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
AI 推理正变得日益异构。每周都有新的模型架构发布,推理流量在不同 batch size 和序列长度之间迁移,硬件平台也在不断增多。要在所有这些场景下都达到峰值性能,需要能够跟得上节奏的优化框架。
去年,我们帮助发布了首批 AI megakernel——在单个高度融合的 GPU kernel 内执行整个模型的前向传播。它们达到了破纪录的速度,但很难投入生产。经过数月努力,我们总共只搞定了一个模型、一个 batch size、一个客户。
今年,我们审视了哪些东西可以简化,并发现了令人意外的事情。仅靠 CUDA Graphs 和 PDL,叠加在默认的 Torch Inductor kernel 之上,我们就能在不写任何 kernel 的情况下恢复 megakernel 98% 的性能。而借助“multi-kernel”和 agent 循环,我们进一步超越了旧的 megakernel,最高提升 1.7 倍,在 H100 上为 Llama 1B 实现了超过 1100 TPS。
过去两年,我们一直在研究下一代推理优化系统应该是什么样子。在构建了一系列 GPU 编程与优化系统之后,我们最终推出了 Together Compiler——用于持续进行 AI 推理优化的框架。在这篇博客中,我们将回顾当今编译器背后的假设,分享那些挑战我们思维的实验,并解释塑造 Together Compiler 的经验教训。我们的旅程分为三部分:
第一部分,我们展示 Torch Compile 的启发式规则和基准测试方法白白浪费了性能,这为构建一个截然不同的系统提供了动机。
第二部分,我们回顾为弥补这一差距而构建的 megakernel,解释为什么它们并不总是正确的优化目标,并将其性能收益分解为更简单的原语。
第三部分,我们分享在构建 agent 驱动的优化基础设施过程中得到的“苦涩教训”,以及我们最终落地的生产系统。
十多年来,PyTorch 一直是 AI 开发的基础,提供了模块化、易用的抽象(nn.Module),使快速实验成为可能。但这种模块化带来了性能代价:将模型作为一系列独立操作来执行,会引入大量启动开销,限制计算与内存搬运重叠的机会,并导致 GPU 资源利用不足。为解决这些低效问题,PyTorch 推出了 Torch Compile(“PyTorch 2.0”,由 Inductor 驱动)来优化和融合操作,NVIDIA 则开发了 CUDA Graphs 来降低 kernel 启动开销。这些系统取得了巨大进展,但仍存在显著的性能差距,这常常促使 Together 的研究人员发明 FlashAttention、ThunderKittens 和 Megakernel 等专门实现。
我们先简要概述 Torch Compile 的工作原理,然后展示我们在 Llama 1B 上研究 Inductor 内部机制时得到的发现。
从高层看,Torch Compile 使用即时编译流水线,将 PyTorch 操作捕获为计算图,优化该图,并生成可执行的 GPU kernel。关键组件包括:
在我们的目标 Llama 1B 工作负载上,Inductor 达到 669 TPS。正如我们将在第二部分展示的,这些生成的 kernel 有时已经足够,经过小幅修改,它们就能达到与 megakernel 相近的性能水平。然而,在不同架构和更新的硬件上,Inductor 的启发式规则跟不上。我们调查了 Inductor 最吃力的地方,并给出三项发现。
Inductor 暴露了许多编译器调优 flag,可以提升性能。我们发现,即便是这些看似简单的配置,也暴露出一个出人意料地庞大而复杂的搜索空间。
最佳优化取决于工作负载。Inductor 提供了一个 freezing flag,告知编译器模型权重在推理期间不会改变。了解这一点后,编译器可以提前转换权重,使后续计算更快。其中一种转换将权重转为 FP32 以执行某些优化,然后再转回原来的低精度格式。我们发现,启用 freezing 在较大 batch size 下将吞吐量提升了 10–26%,此时 GPU 执行的是矩阵-矩阵乘法。然而在 batch size 为 1 时,推理主要使用矩阵-向量乘法,启用同样的 flag 却导致 49% 的减速。检查后我们发现,FP32 转换在矩阵-向量操作中没有被逆转,导致 GPU 处理的是更大的 32 位权重,而非原来的低精度权重。换句话说,完全相同的编译器优化可能提升一个 batch size 的性能,却大幅降低另一个的性能。
优化之间的相互作用难以预测。截至 2026 年第三季度,Inductor 暴露了 607 个调优 flag,其中 198 个是过去一年新增的。这些 flag 控制着从 kernel 融合到内存访问模式和调度的方方面面。它们的效果并非相互独立:单独启用 aggressive_fusion flag 使 Llama 1B 吞吐量下降了 6 TPS,但将其与 combo_kernels、benchmark_fusion 和 triton.coalesce_tiling_analysis 这些 flag 一同启用,吞吐量却提升了 3 TPS。即便是微小的配置改动,也可能在执行时间上产生可测量的微秒级差异。
要点:可能的优化与配置空间非常庞大,我们应该系统性地搜索它,而不是猜测该设置哪些 flag。
Inductor 基于其基准测试框架做出优化决策。我们识别出这种基准测试误导其决策、进而损害整体性能的两种不同方式。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。