返回资讯中心
外部精选
软件工程
#开发者实时流

Nvidia cuBLAS 新增 FP64 算法,加速科学计算模拟

来源标题:Faster Scientific Simulations with New FP64 Algorithms in Nvidia cuBLAS

Nvidia 在 CUDA Toolkit 13.4.2 的 cuBLAS 中引入 Ozaki-II 和 2M 两种算法,在整数 Tensor Core 上加速双精度 GEMM 并保持完整 FP64 精度。其中 Ozaki-II 的 DGEMM 在 GB200 上比原生 FP64 快 3.9 倍,2M 算法的 ZGEMM 在 GB200 上快 5 倍。CCSD 量子化学和 BerkeleyGW 材料模拟等端到端应用也获得最高 6.6 倍加速。

Hacker News 最新qainsights2026/11/14 · 4 天前30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

AI 生成的摘要 CUDA Toolkit 13.4.2 引入了 Ozaki-II 和 2M 算法,在整数 Tensor Core 上加速双精度 GEMM,同时保持完整的 FP64 精度。 Ozaki-II 利用中国剩余定理减少了整数乘法次数,相比 Ozaki-I 有所降低;2M 方法则将复数矩阵乘法从四次实数乘法缩减为两次。 在 NVIDIA VR NVL72 上,采用 Ozaki-II 的 DGEMM 比原生 FP64 快 5.5 倍;在 NVIDIA GB200 上快 3.9 倍。而采用 2M 算法的 ZGEMM 在 NVIDIA GB200 上相比原生 CFP64 实现了 5 倍加速。 使用 Ozaki-II DGEMM 的 CCSD 量子化学计算,在完整 FP64 精度下于 NVIDIA VR NVL72 和 NVIDIA GB200 上分别实现了 2 倍和 1.4 倍的端到端加速,在混合精度模式下则分别达到 5 倍和 3.5 倍。 使用 Ozaki-II 2M ZGEMM 的 BerkeleyGW 材料科学模拟,在 NVIDIA VR NVL72 和 NVIDIA GB200 上相比原生 ZGEMM 分别实现了 6.6 倍和 3.9 倍的加速。 NVIDIA Rubin GPU 引入了 TI16 数值格式和 tcgen05.mma 指令,进一步加速 Ozaki-I 和 Ozaki-II 计算。 后续步骤 下载并安装最新的 NVIDIA CUDA Toolkit,以获取新的 cuBLAS 算法。 阅读 cuBLAS 文档中的浮点仿真章节,了解 API 细节,包括 cublasSetEmulationStrategy 和手动尾数位控制。 浏览 GitHub 上的 cuBLAS Emulation 示例,评估在您自己的工作负载上的收益。 由 NVIDIA Nemotron 提供支持。AI 生成的内容可能不完整地概括信息。请核实重要信息。了解更多 从分子化学到材料科学,许多科学模拟的大部分执行时间都花在计算高精度稠密通用矩阵乘法(GEMM)上。这些操作对于实数 64 位浮点数称为 DGEMM,对于复数 64 位浮点数称为 ZGEMM。cuBLAS 被 HPC 和 AI 应用广泛用于在 NVIDIA GPU 上加速 GEMM 及其他基础线性代数子程序(BLAS)。低精度硬件的快速进步,促使人们探索一类新算法,在更快的整数 Tensor Core 上提供完整的双精度结果。 借助 CUDA Toolkit 13.4.2,cuBLAS 不再需要在精度和速度之间做取舍。cuBLAS 将每个双精度数拆分为整数片段,在 GPU 的 Tensor Core 上进行乘法运算,然后重新组装出精确结果。答案保持完整的双精度精度,但计算运行在更快的硬件上。 两种新算法使这一过程更加高效:Ozaki-II 比早期的 Ozaki-I 方法需要更少的整数乘法,而 2M 方法将复数矩阵乘法从四次实数乘法缩减为两次。这建立在《Unlocking Tensor Core Performance with Floating Point Emulation in cuBLAS》中引入的自动动态精度(ADP)框架之上,该框架通过将 FP64 算术映射到整数 Tensor Core 上,同时保持原生 FP64 精度,从而提供更高的双精度(FP64)矩阵乘法性能。 cuBLAS 无需更改应用代码即可自动加速 DGEMM 和 ZGEMM。由于只有在不牺牲精度时速度才有意义,我们在真实应用中验证了二者:量子化学中的耦合簇单双激发(CCSD),以及材料科学中的 BerkeleyGW。本文解释了这些算法的工作原理,展示了基准测试和应用结果,并介绍了如何开始使用。 CUDA Toolkit 13.4.2 中的 cuBLAS 带来以下性能提升: Ozaki-I 和 Ozaki-II 方案共享相同的第一步,但在大整数乘法的执行方式上有所不同。两种方案都对输入矩阵的指数进行对齐,并将其转换为共享指数的变长整数表示,使得乘积能够在整数 Tensor Core 上精确累加。cuBLAS 使用启发式方法自动在 Ozaki-I 和 Ozaki-II 之间选择,以获得最佳性能。整数宽度由 ADP 在运行时选择,也可以由用户显式设置。 Ozaki-I 将每个大整数拆分为 8 位切片,并以三角模式将 A 的切片与 B 的切片相乘,因此 Tensor Core GEMM 的数量随切片数的平方增长。 Ozaki-II 使用基于中国剩余定理(CRT)的更快大整数乘法算法。它将每个量化后的操作数对一组两两互质的小整数取模,每个模数恰好执行一次整数 GEMM,并从余数中重建精确乘积。使用 Ozaki-II 时,GEMM 数量与模数数量呈线性关系,而 Ozaki-I 则随切片数的平方增长,因此随着精度目标的提高,优势愈发明显。在匹配 FP64 所需的精度下,Ozaki-I 所需的 Tensor Core GEMM 数量大约是 Ozaki-II 的两倍。 由于 Ozaki-II 为每个模数物化一对余数,朴素实现会携带比 Ozaki-I 大得多的工作区。然而,cuBLAS 已将 CTK 13.3 中为 Ozaki-I 引入的节省内存的分块方法同样应用于 Ozaki-II 方案,在每个余数对完成 GEMM 后立即将其丢弃。这使得工作区大小更加可控。 cuBLAS ADP 框架旨在提供与标准浮点 GEMM 算法相当或更好的精度保证。有关定点方法精度的更多信息,可参阅参考文献。如果在运行时,保持 FP64 等效精度所需的尾数位数超过库默认值或用户提供的最大值,cuBLAS 会回退到使用原生 FP64 MMA 指令的代码路径。因此,应用可以在生产部署中安全地使用 cuBLAS,而无需担心数值精度。下面的图 1 展示了在 GB200 上使用 Ozaki-II 的 cuBLAS DGEMM 相比 Ozaki-I 的加速比。 图 1. 在 GB200 上,CTK 13.4.2 附带的 cuBLAS 中采用 Ozaki-II 方案的 DGEMM 相比 CTK 13.3.1 中 Ozaki-I 方案的加速比 NVIDIA Rubin

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →