
TorchLean 作者发现自身 softmax 实现存在浮点舍入问题,推出 FloatLib 库用于验证精度
来源标题:When Rounding Breaks Machine Learning
TorchLean 的 softmax 实现存在与 Jon Barron 所报告类似的数值 bug:在 float32 下目标梯度变成零,尽管真实答案非零且可表示。为此团队推出 Lean 库 FloatLib,支持任意精度浮点运算建模,可证明公式的误差或符号边界。该工作借鉴了 Flocq、Gappa、VCFloat2 等浮点验证工具的思路。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
几周前,Jon Barron 分享了一篇关于 softmax 和交叉熵中两个数值 bug 的文章,基于他与 Dan Gnanapragasam 和 Michael Tschannen 的合作。我回到 TorchLean 检查了我们自己的 softmax 实现。有趣的是,它也有同样的问题:在 float32 下,目标梯度变成了零,尽管真实答案是非零且可表示的。我们已经证明了这个公式在实数上的正确性,但正如 Edward Yang 指出的,这并不能证明其浮点精度。我想知道我们还有哪些遗漏。
我们最近引入了 FloatLib,一个用于任意精度浮点运算的 Lean 库。它让我们能够以选定的精度对算术进行建模,并为所执行的公式证明误差或符号边界。它建立在 Lean 之外的大量先前工作之上,我们的 roundoff 策略尤其受到 Rocq 的启发:Boldo、Melquiond 和 Daumas 的 Flocq 和 Gappa,以及 Appel 和 Kellison 的 VCFloat2,后者自动计算浮点程序的舍入误差边界。Harrison 在 HOL Light 中的浮点理论以及 FPTaylor 和 Herbie 等工具——它们在证明助手之外对表达式进行边界计算和重写——也对其产生了影响。Blanchard 和 Highams 详细研究了 softmax 和 log-sum-exp,Prieto 及其合作者已经发现了 Softmax Collapse。Pedregosa 和 van Merriënboer 展示了如何在不产生溢出或 NaN 的情况下计算逻辑损失及其梯度,这正是我们重写 sigmoid 和软间隔算子所要解决的问题。我想把这种分析引入 TorchLean,比较库函数调用,并在发现失败的地方尝试不同的公式。这揭示了广泛使用的代码中的 bug,涉及 PyTorch、JAX、TensorFlow Probability、diffusers、PyTorch Geometric 和 xLSTM,其中几个此前从未被报告过,TorchLean 本身也不例外,同时我们还给出了修复这些问题的重写方案。
在与 Sasha 讨论 softmax 之后,我们决定考察更多基础算子 : ) 算子是神经网络的构建模块之一:加法、矩阵乘法、激活函数、归一化或损失函数。这些就是我们在 PyTorch 或 JAX 中构建模型时组合的调用。数学规范告诉我们每个算子应该计算什么。而实现还决定了中间值的精度、加法的顺序以及何时进行舍入。因此,同一个算子在不同的库中可能给出不同的答案,即使数学定义相同。
我们检查了全部 154 个 TorchLean 算子,若将变体单独计数则为 162 个条目。其中 159 个条目有可执行的 Lean 规则;erf、基于 erf 的 GELU 以及用户自定义程序的自定义扩展不在本次可执行扫描范围内。我们在 PyTorch、JAX、TensorFlow、NumPy、CuPy、ONNX Runtime 和 MLX 中比较了所有可用的对应操作,CPU 和 GPU 的测量结果分开记录。主要比较涵盖了几种常用精度和大约 7.8 亿个输出。随后,我们使用 FloatLib 将选定的原始公式和重写公式通过 526 种不同的格式进行了测试。这项研究结合了可执行的 Lean 规范、机器验证的证明以及跨库比较。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。