Draw Things 团队复盘 LLM prefill 优化:从误判到推出 Local Code
来源标题:LLM prefill, what we got wrong
Draw Things 团队在 AiOS Meetup 上复盘了 LLM prefill 优化的经验。团队最初认为可借助扩散引擎的经验在 Apple Silicon 上实现高性能 prefill,中途才发现难度远超预期。最终他们推出内置完整运行环境的 Local Code,prefill 与 decode 性能依然出色。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
作者:Draw Things 2026年11月11日 2 分享 昨天我在 AiOS Meetup 上分享过这个话题,这里补记一份存档。
Draw Things 是一款运行在 Apple Silicon 上的媒体生成软件。媒体生成使用扩散模型,其过程在某些方面与 LLM 的 prefill 相似:两者都涉及大量并行计算。
因此,我们最初的判断是:借助我们在扩散引擎上积累的经验,可以在 LLM prefill 上取得惊人的性能,给热衷本地 AI 和 Mac 的社区带来一点小小的震撼。
当然,直到这条路走到一半,我们才开始明白它为什么难。最终我们交付了 Local Code——它的 prefill 和解码性能依然出色,并且内置了完整的 harness 和环境。把这些经验分享给社区,或许能帮助大家在彼此的工作基础上继续前进,最终想出更好的工程方案来克服这些限制。
Draw Things 是几年前最早实现权重流式加载(我们称之为 JIT weights)的软件之一。它一直很好用(直到 M6——这就有点尴尬了,因为芯片很快,内存却有限)。
既然 prefill 通常被认为是计算密集型任务,那么自然会觉得把权重卸载到 SSD 应该是“免费”的。嗯,如果你总是有很长的 prompt 需要 prefill,那确实差不多是免费的。
我们来看一些数字。在 M5 Ultra 上,prompt 处理(prefill)通常能达到约 4,800 tokens/s。如果是真正的计算受限,M5 Max 上我们预期约为 2,400 tokens/s。这也意味着,单次 prefill 就要把全部 160 GB 的量化权重搬进内存。假设 SSD 有效带宽为 10 GB/s,那么每轮大约需要 38k tokens 才能回到平衡状态。
而我们通常每轮之间只有约 8k 的 prompt 处理量——假设每次都必须加载全部权重,即使 SSD 读取和计算完美重叠,也要面对 4–5 倍的减速。
这没有简单的解决办法,因为我们从根本上受限于 SSD 速度。跨多块 SSD 分片可能有帮助,但这也不是普通人会配置的方案。自适应 prefill 分块可以稍微缓解这个问题,不过要小心不要多次重新加载相同的权重。
有一件事我们可以着手解决:找到那个临界点——只加载被选中的专家不再划算、改为加载整个层更可取的分界点。
我们在 DeepSeek V4 Flash 上做了测试,每层有 256 个 routed experts。下表比较了选择性专家加载与异步全层加载,配置为 16 GiB、常驻槽位初始为空。我们还统计了每个 chunk 中至少被激活一次的不同专家数量,并在全部 43 个 MoE 层上取平均。
有意思的是,在大约 3k tokens 时,每层已有约 75% 的专家被激活。选择性加载和全层加载的速度几乎相同,超过这个点之后,全层加载开始胜出。
但这个交叉点还取决于内存中已经常驻了多少专家。在热身的 48 GiB 配置下,同样是 3,072-token 的 chunk 大小,需要流式加载的 40 层每层大约选中了 190 个专家。但其中约 90 个已经常驻,只剩 100 个需要从 SSD 加载。这种情况下,选择性加载仍然胜出。
所以,与其使用固定的 prompt 长度阈值,我们可以根据实际需要加载的被选中专家数量来做决定。这是我们仍在探索的一个优化机会。
有一件事我花了一段时间才意识到:扩散模型和自回归模型都有某种自我纠错机制。对扩散模型来说,每一步都把上一步的预测作为输入,有机会修正轨迹。对自回归模型来说,推理是修正早期错误的另一种强大方式。
不过,区别在于 attention 运算。
扩散模型通常在较短的 attention 序列长度上运行(除非是视频模型)。这些较短的序列对低精度 attention(FP8 或 INT8,比如 SageAttention 风格的实现)中的数值精度损失往往更宽容。自回归模型则可能运行在非常长的序列上,attention 中的数值误差在更长的上下文长度下会变得更有影响。
因此,我们使用的技术——比如 Metal Quantized Attention——需要经过更多审视,才能对 LLM 有用。幸运的是,LongBench v2 这类基准测试能相当有效地捕捉这些问题。
以下是我们在原始 60 个用例子集上观察到的结果:
我们的 INT8 QK + FP16 PV 实现非常接近 Splash BF16,而全 INT8 实现则表现出更明显的精度损失。
当然,60 个用例不足以建立统计显著的差异,尤其是 39/60 和 40/60 之间。但它们有助于识别值得进一步调查的潜在性能回退。
几乎不用多想,对 Draw Things 来说,我们所有的 kernel 都是按形状特化的。意思是,矩阵维度——或者对 attention 来说,行数和列数——作为函数常量固化在 shader 里。
后来,我们为 MoE 模型(HiDream 系列)增加了按 M(即矩阵乘法中的 M × K × N)禁用特化的能力。除此之外,我们的 buffer 绑定实际上就是 tensor 的字节。
对于 LLM prefill,这在很多情况下不再划算。序列长度不规则,即使使用分块 prefill 也依然如此。所以我们不得不使用效率略低、在运行时读取维度的 kernel。
我们实际损失了多少性能?
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。