返回资讯中心
外部精选
软件工程
#开发者实时流

端到端 4-Bit 训练:低精度训练如何兼顾速度与精度

来源标题:Thinking Machines: End‑to‑End 4‑Bit Training

低精度训练的核心难题是如何在享受更快算术运算的同时避免引入误差干扰学习。训练中使用 BF16、MXFP8 和 NVFP4 三种数值格式来管理这一权衡:每值位数越少越省内存、GPU 计算越快,但可表示的数也更少,舍入误差会在各层和优化步骤中累积,最终损害准确率。每种格式精度固定,但速度取决于具体实现。

Hacker News 最新stokedmartin2026/11/13 · 4 天前30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

训练大语言模型涉及大量数字的计算与存储。用更少的比特表示每个数值可以降低内存占用,并让 GPU 计算得更快。但这里存在权衡:比特数越少,可表示的数值也越少,舍入就更激进。更低精度的表示最终会因给计算引入误差而损害精度。

举例来说,假设我们要存储数字 3.2,但我们的数值格式能表示的最接近的值是 3 和 4。舍入到 3 会引入 −0.2-0.2−0.2 的量化误差,即实际值与量化格式可表示值之间的差。单个这样的误差看似很小,但随着训练中在各层和各个优化步骤上反复发生舍入,这些误差会不断累积,进而损害学习过程。

这正是低精度训练的核心挑战:我们如何才能既享受更快的算术运算,又不引入干扰学习的误差?

我们通过在训练中使用三种关键数值格式来管理这一权衡:BF16、MXFP8 和 NVFP4。每种格式的精度是固定的,但其速度取决于所用的硬件。我们在 NVIDIA 的 Grace Blackwell Ultra 平台 GB300 上训练,该平台专为用 NVFP4 优化矩阵乘法而设计。值得注意的是,NVFP4 的存储比特数比 BF16 少 3.6 倍,但在 GB300 上运行速度最高可快 6 倍。

数值格式数值格式每值比特数GB300 PFLOPSNVFP4(4 × 16 + 8) ÷ 16 = 4.515MXFP8(8 × 32 + 8) ÷ 32 = 8.255BF16162.5

GB300 上的 NVFP4 加速在大批量推理中非常有用,此时权衡更偏向速度。但与 BF16 和 MXFP8 相比,该格式会大幅增加量化误差。这种误差在训练的不同阶段重要性不同,必须针对每个阶段分别考虑权衡:预训练和有监督微调(SFT)中的前向与反向传播,以及强化学习(RL)中的采样与训练。

我们在训练不同阶段的优先事项风险收益最小化误差最小化偏差提升速度降低内存占用预训练前向3 个勾———2 个勾—预训练反向1 个勾3 个勾2 个勾—RL 采样器3 个勾—3 个勾3 个勾RL 训练器1 个勾3 个勾1 个勾—

速度在大批量步骤中最重要:预训练要处理数万亿 token,RL 采样在每次 rollout 中要生成数万个 token。每个被采样的 token 还需要从全局内存加载模型权重,其开销随存储权重所需的比特数而增长。

更新权重的反向传播会对一个 batch 中的许多 token 取平均,这稀释了随机分布的舍入误差的影响。然而,反向传播对量化偏差非常敏感——当数值在量化时持续向上或向下舍入时就会引入这种偏差。这种偏差不会相互抵消,反而会跨层、跨样本、跨训练步骤累积。

在训练 Inkling 2 Small 时,我们做出了以下决策:

Inkling 2 Small 是我们所知的、以原生 4 比特前向传播端到端训练的最大模型。我们从预训练开始到最终的 RL rollout 都以相同方式配置数值格式。这简化了训练,也消除了在训练结束时交付量化 checkpoint 时进行校准的需要。在我们最大的任务中,与完整的 MXFP8 训练相比,该方案在预训练中带来 8% 的 wall-clock 加速,在 RL 中带来 20% 的加速。本文中,我们解释使这一切成为可能的细节。

理想情况下,我们希望在对模型精度影响最小的地方降低精度,同时带来可观的整体加速。最符合这一特征的层是混合专家(MoE)层,它们计算开销大,且经验上量化时对精度的损害往往小于其他层。

今年早些时候,我们实现了对 MoE 层的完整 MXFP8 训练,发现它几乎不影响模型的计算效率(CE)——CE 衡量引入新技术时训练和评估损失的变化。Recipes for Pre-training LLMs with MXFP8, Mishra et al., 2025, Scaling Laws for Neural Language Models, Kaplan et al., 2020 然而,我们最初用完整 NVFP4 训练的实验导致模型 CE 大幅下降,精度退化超出我们能接受的范围。

在分别隔离 NVFP4 量化在前向和反向传播中的影响后,我们发现专注于前向传播通常在速度与精度之间提供更好的权衡。但只量化前向传播会对与反向传播的交互、GPU 通信等带来一系列影响。为了理解这些,我们先详细考察 NVFP4 的工作原理。

四个比特最多可表示 16 个不同的值:就 FP4 而言,这些值是 ±{0,0.5,1,1.5,2,3,4,6}\pm{0, 0.5, 1, 1.5, 2, 3, 4, 6}±{0,0.5,1,1.5,2,3,4,6}。明显的局限在于表示大于 6 的数,这通过块缩放解决:存储一个缩放因子,乘以连续块中的所有值。NVFP4 根据一个由 16 个连续值组成的块中最大的值(按绝对值)对该块进行缩放。例如,如果该值是 −54-54−54,它将被表示为 −6-6−6,缩放因子为 9,块中的每个值都将基于该缩放进行舍入。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →