返回资讯中心
外部精选
软件工程
#开发者实时流

Tang 编译器:自动推导 GPU 内核并限制其运行速度上限

来源标题:Don't Write Kernels, Derive Them

Tang 是一款编译器,能自动推导 GPU 内核并为其运行速度设定上限。它通过 schedule_auto 编码测量得出的经验规则,并用 autotune_kernels 在真实输入下对候选映射计时,按设备和内核源码缓存最优结果。结合替换与 online-softmax 重写,其 staging 规则能生成 flash attention 的结构。

Hacker News 最新ecto2026/11/11 · 6 天前23 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

分数)。 precision:存储和累加格式(§4)。 schedule_auto 编码从测量中提炼的经验规则。autotune_kernels 在设备上使用图的真实输入,为每个物化节点的每个候选映射计时,并按设备和内核源码缓存胜出者。通过替换和 online-softmax 重写,staging 规则生成了 flash attention 的结构:每个工作组 rows × lanes、协作式分数 tile,以及寄存器中的 online softmax。 对于 ,通过 pick 视图(其每个形式都是单个坐标)对 求梯度,通过重命名坐标来找到。被 pick 的坐标成为 的输出维度,其余成为 reduce 维度,其他每个视图都经过同样的重命名推送。主体由 tang-expr 的符号 diff 微分,它覆盖其九种算术运算(add、multiply、negate、reciprocal、square root、sine、atan2、、)外加一个 select。通过任何其他形式(偏移、步幅、对角线或广播)读取的维度保持为输出维度,而 iota(一个将坐标转为值的节点)用 对主体进行门控。Max 将其项门控到 arg-max。反向图是普通图,因此同样的 pass 会优化它。Rotary embedding 和 GQA(grouped-query attention)梯度来自门控 scatter,无需特殊处理。 online-softmax 幺半群有自己的规则。读回前向的 和累加器后,,其中 是键 的值,因此 flash 融合图可微,其梯度等于朴素图的梯度。 稳定化的 max 没有梯度。max 可以被停止是 logsumexp 实现中的标准做法。这里的新颖之处在于编译器对每个图运行的证明。Softmax 对其分数平移不变,因此各项之和为零,但仅在精确算术中如此。当这些项存在时,max 必须被物化,被掩码的 tile 不能被跳过。backward 在能证明损失不依赖于 时丢弃它们。该证明跟踪 下游的每个节点如何随 缩放。在 softmax 中, 在 中次数为 1,因此 也是, 也是;它们的比次数为 0,仅是分数的函数。一般来说,一个节点要么是 ,要么是 与 无关,通过精确恒等式组合。1 如果从 出发的每条路径都终止于次数为 0 的节点,并且梯度不会被构建。训练步骤的 f64 评估保持不变(最大绝对差 )。 flash 反向在 tile 内重新计算(图 3)。hoist_invariant_factors 将行不变项从求和中提取出来()。schedule_nested_contractions 然后将一个短收缩(一个 reduce 维度至多 128)内联到每个读取它的 tile 中。attention 反向仅通过 和 读取 和 ,dQ、dK 和 dV tile 在 tensor core 上为每个 staged block 重新计算这些。在 CUDA 上,这从 transformer 训练步骤中移除了 S、、dP、S 上的 max 和三个校正内核,将 63 个内核减少到 49 个,并将序列长度 512(RTX 3090)下按内核最佳时间之和从 1.80 ms 减少到 1.22 ms。WGSL 和 Metal 现在在工作组内存中用标量点积嵌套相同的收缩,因此我们测量的任何 GPU 后端(CUDA、WGSL、Metal)都不会写出任何 。目前这要付出速度代价。前向加反向在 Metal 上以物化调度的 0.68–0.93× 运行,在 3090 上的 Vulkan 下以 0.25–0.34× 运行,直到嵌套点积像 mma 路径那样进行寄存器分块。 图 3 训练步骤的 attention 反向,之前和之后。之前,分数、概率和 被写为缓冲区(虚线),并由三个梯度 tile 读取。在稳定化 max 失去梯度且不变因子离开求和之后,短收缩 和 在每个 tile 内按 staged block 在 tensor core 上重新计算。CUDA,RTX 3090,序列 512;按内核最佳时间之和。 4 精度是一种调度 f16 是运行同一程序的另一种方式,而不是另一个程序。每个节点有一个存储格式,应用于值写入内存之处;以及一个累加格式,应用于每次组合后归约的运行状态。图保持精确数学。 解释器给出一个误差预算,并带有已知的失败模式。eval 是纯 f64。eval_emulated 将每个存储值和每个累加器步骤舍入到其调度格式(就近舍入到偶数、次正规数、溢出),主体算术为 f64。ErrorBudget 在调度运行之前接受或拒绝它。当归约顺序相同时,仿真与 GPU 的 f16 内核匹配到 1 ulp。否则顺序是误差的一部分:AdaIN 在 上的方差使用 f16 累加器,在 256 线程拆分下误差为 ,在每行一个线程下为 ,而顺序仿真预测为 。仿真建模一次顺序折叠;树组合拆分优于它,而每行 GPU 内核虽然也是顺序的,结果却稍差,我们将其归因于其不同的累加顺序和融合算术,而非经过验证。当归约长度或顺序不同时,预测可能相差很远:3,584 项的 conv1d 求和测得 ,预测为 ;ConvNeXt LayerNorm 统计量测得 ,预测为 ;逐点 matmul 测得 ,预测为 。这些预测是在较小实例上做出的,其较短的求和无舍入。在相同归约长度下(matmul、AdaIN),预测与测量在约 1.7× 内一致。tune_precision 一次一个移动将缓冲区降为半精度,仅当程序保持在预算内且变得更快时才保留该移动。 共享发射器一次性生成 point、split 和 tiled 调度、寄存器 tile、受保护视图、epilogue 融合和元组幺半群。然后方言切换处理缓冲区访问和表面语法。 ,行最大值以及 mma 寄存器中的部分和。分数累加器在每个 8 宽步骤内置换键后,被重用为 的 A 操作数,这是合法的,因为归约是可交换且结合的。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →