返回资讯中心
外部精选
软件工程
#开发者实时流

TensorLean 在 PTX 层面对生产级 GPU kernel 做形式化验证,发现 38 个 bugs

来源标题:TensorLean: Formal verification framework for GPU kernels at the PTX level

TensorLean 是首个能在 PTX 汇编层面对生产级 GPU kernel 做形式化验证的框架,团队用它验证了 149 个真实开源 kernel 实例(含 102 个来自 FlashAttention 及 DeepSeek、Liger Kernel 等的实例),其中 83 个被证明正确。验证过程中还在这些前沿 kernel 里发现 38 个此前经数月乃至数年测试未被发现的各类 bug。

Hacker News 最新matt_d2026/11/20 · 今天30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

GPU kernel 是现代 AI 的计算核心。一个 kernel 里的单个 bug 就可能悄无声息地破坏整个模型的正确性,让训练和推理都陷入风险[1Jonathan T. Barron et al.A Fix for Softmax and Cross-EntropyarXiv:2610.31642, 2026, 2Aaron Grattafiori et al.The Llama 3 Herd of ModelsarXiv:2407.21783, 2024, 3Ziming Zhou et al.OpGuard: Bitwise Alignment for Precise and General Debugging of Production LLM TrainingOSDI 2026]。形式化验证承诺对任意配置和 GPU 调度都能保证正确性,但它从未真正应用到现代 AI 的生产级 kernel 上。我们提出 TensorLean,这是首个能对生产级 GPU kernel 做形式化验证的框架。借助 TensorLean,我们针对 149 个真实开源 kernel 实例的 PTX 汇编做了验证,其中包括来自 FlashAttention 的 102 个实例,以及来自 DeepSeek、Liger Kernel 等的实例,并证明了其中 83 个是正确的。在验证过程中,我们还在前沿 kernel 中发现了 38 个各类 bug,它们此前已躲过数月乃至数年的测试。我们预期,有了 TensorLean,形式化验证将能够规模化,并成为开发正确且高效 kernel 的必要环节。

2024 年 2 月,ChatGPT 开始输出毫无意义的文本[4OpenAIUnexpected responses from ChatGPTOpenAI incident report, February 2024]。一年后,一次错误编译扰乱了 Claude 的 token 选择[5AnthropicA postmortem of three recent issuesAnthropic Engineering, September 2025]。而到了 2026 年 10 月,Google DeepMind 又指出,就连 PyTorch 和 JAX 中标准的 softmax 和交叉熵也含有数值 bug,可能破坏梯度,令模型在训练中精度崩塌[1Jonathan T. Barron et al.A Fix for Softmax and Cross-EntropyarXiv:2610.31642, 2026]。这些事故全都源于 kernel 中隐蔽的正确性 bug——kernel 是实现模型各模块与算法(如矩阵乘法和注意力)的程序。随着 AI 模型成为基础设施,我们必须在这些 bug 浪费数百万 GPU 小时和巨额资金之前,发现并修复它们,还要证明它们并不存在。形式化验证是唯一能给出确切保证的途径。在形式化验证中,开发者把代码转写成数学模型,再设法证明该模型满足一组数学性质,这组性质称为规约(specification)。一旦证明通过机器检验machine-checked证明以形式语言(如 Lean)写成程序,再由证明助手通过类型检查来验证其有效性。,就意味着代码在所有允许的输入和每一种可能的执行下都满足其规约。

然而,形式化验证的代价往往很高:我们必须用规约精确说明代码应当做什么,再用证明说明它为什么这样做。这两项的投入都可能比开发本身高出若干数量级。例如,seL4 微内核用 2.5 人年和 8,700 行 C 代码建成,验证它却花了 20 人年和 200,000 行证明[6Gerwin Klein et al.seL4: Formal Verification of an Operating-System KernelCommunications of the ACM, 2010]。即便使用最先进的验证器,规约和证明的规模仍是代码的数倍[7Andrea Lattuada et al.Verus: A Practical Foundation for Systems VerificationSOSP 2024]。更何况,GPU kernel 素以复杂著称:大规模并发、分布式与内存布局、浮点运算,这些都在挑战形式化验证的可扩展性。

为了以可负担的代价对 kernel 实现形式化保证,我们提出 TensorLean,它首次实现了对生产级 kernel 正确性的形式化验证。在 TensorLean 中,规约与证明的投入都被降到最低。在规约方面,TensorLean 将数学计算与内存布局解耦,因此规约写起来和审查起来都像普通的张量程序一样容易,并能扩展到生产级 kernel,代码与规约之比约为 15:1。在验证方面,TensorLean 证明 kernel 编译后的 PTX 在每一个输入和线程调度下,都在浮点容差范围内满足其张量级规约。借助 TensorLean,我们针对 149 个 kernel 实例的 PTX 做了验证,覆盖 FlashAttention-2 到 -4 的全部 37 个 kernel,以及来自 DeepGEMM 和 Liger Kernel 的更多 kernel:其中 83 个被证明正确,其余 66 个含有我们发现的 bug。在此过程中,我们共发现 38 个 bug,它们都悄无声息地躲过了 kernel 自带的测试。

theorem flash_attention_correct : ∀ inputs executions, ptx ≈ attention := by tensorlean

FlashAttention-12022 mma.sync.aligned.m16n8k16.row.col.f32.f16.f16.f32 … cp.async.cg.shared.global.L2::128B [%r93], [%rd324], 16; wgmma.mma_async.sync.aligned.m64n224k32.f32.e4m3.e4m3 … tcgen05.mma.cta_group::2.kind::f16 [tmem_acc], …

我们很快会发布论文并开源 TensorLean,包括其 PTX 语义以及已验证 kernel 的规约和证明,让任何人都能复用它们、验证其他前沿 kernel。我们预期,有了 TensorLean,GPU kernel 的形式化验证就能与其不断演进的开发同步推进,专家和智能体都将参与其中[8Zihao Ye et al.CAKE: Compiler-Agent Co-Design for Frontier Kernel EvolutionarXiv:2608.12629, 2026]。

本文余下部分将更详细地介绍 TensorLean。

要证明一个 kernel 是正确的,我们首先得说明什么是「正确行为」,也就是它的规约(spec)。一个 kernel 是正确的,当且仅当在它接受的每一个输入和每一次执行中,它写出的值与它所实现的操作相同the same values由于浮点舍入,「相同」是指在某个界限内相等,这个界限称为容差。,并且不改动 GPU 内存中的其他任何内容。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →