
ComfyUI重写文本生成热路径,Qwen3.x模型token生成速度最高翻倍
来源标题:Doubling LLM token rates in ComfyUI
ComfyUI针对Qwen3.x系列LLM重写了文本生成热路径,在模型和输出质量不变的情况下,相同GPU上token生成速度最高提升至原来的两倍。在RTX 5090上,Qwen3.5 9B从106 tokens/秒提升到219 tokens/秒;RTX 5080上从91提升到129。相关优化已随ComfyUI v0.45.0发布。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
rattus128 2026年11月11日 4 分享 ComfyUI 可以在本地运行多种大语言模型(LLM),用于增强提示词、写故事、描述图像,甚至进行基础聊天。最近,我们重写了文本生成的热点路径,重点针对 Qwen3.x 系列 LLM。结果是,在相同 GPU 上,相同的 checkpoint 现在生成 token 的速度最高可提升至原来的两倍,而模型本身和生成质量都没有任何变化。这也加速了近期最先进图像生成模型所附带的许多提示词增强器。 在 RTX 5090 上,Qwen3.5 9B 从每秒 106 个 token 提升到 219 个 token;在 RTX 5080 上,从每秒 91 个提升到 129 个。在 RTX 5090 上,Qwen3.8 27B 描述一张 1536×1536 图像时,从 55 提升到 122。 在 RTX 5090 上,Qwen3.8 27B W4A8 描述一张 1500×1500 图像并写一个故事:在 mtp 设为 auto 时达到每秒 137 个 token。 本篇博客讨论 LLM 推理的一些架构和实现细节,以及近期的加速成果。这里涉及的所有内容都已在 ComfyUI v0.45.0 中提供。只需加载一个 Qwen3.x checkpoint,让 Text Generate 节点的 mtp 选项保持 auto,就可以开始使用了。 文本生成是顺序进行的:每个新 token 都依赖于前一个 token,并且每生成一个 token 都需要完整读取一次模型权重。大规模 LLM 推理通常可以通过将多次推理批处理在一起来摊薄这种权重读取成本,例如来自多个用户的多个完全独立的聊天。然而,单个 ComfyUI 工作流通常只生成一个序列,所以每一步的 batch 都是 1。对于一个量化到四位的 27B 参数模型,比如 Qwen3.8 W4A8,一步大约要读取 14 GB 权重才能生成一个 token,而且每个权重可能只参与一次数学运算。token 生成的瓶颈取决于你的 GPU 从 VRAM 读取模型的速度。 相比之下,ComfyUI 中用于图像或视频生成的扩散模型在每一步都会处理整个对应的 latent 输出,每个权重都作用于完整序列长度。与 LLM 不同,扩散模型的瓶颈是算力,也就是你的 GPU 计算得有多快。这给图像和视频生成领域带来了非常不同的优化问题。 LLM 模型中的大多数权重都是线性矩阵乘法。这些由线性 kernel 处理,也就是 GEMM/GEMV kernel,它们是针对矩阵乘法优化的 GPU kernel(程序)。在我们的 LLM 场景中,一个稠密的、通常是方形的矩阵会乘以一个向量(M=1,对应单个 token 的状态),或者乘以一个非常薄的矩阵,比如 M=3,对应小 token 数的多 token 预测(MTP)验证状态。这就是“瘦”线性问题。 在近期的改动中,我们针对 VRAM 总线利用率和效率加入了大量优化,专门围绕 VRAM 读取速度和 VRAM 内存总线占用时间重新优化。 Qwen3.x checkpoint 自带一个多 token 预测(MTP)头:与主模型相比,这是一个更小的额外层,利用模型的隐藏状态来预测下一个 token。ComfyUI 使用这个 MTP 特性进行投机解码。MTP 头先草拟几个 token,然后在下一个 token 的前向传播中,所有候选草拟 token 会一起被投机验证。这个过程的开销大约和一个 token 相同,因为该次传播仍然受限于 VRAM 速度。每一个与主模型本来会选择的 token 相匹配的 MTP 草稿都会被模型接受,从而省去一次完整的前向传播,进而为每个正确猜中的 MTP token 省去一次完整的模型读取。这就是 MTP 如何能将输出 token 速率提升一倍以上,从而显著提高性能。 在近期的改动中,我们既优化了用于 MTP 的计算 kernel,也通过新的自适应树 MTP 算法增强了 MTP 算法本身。 ComfyUI 中的 Qwen3.x checkpoint 通常是 W4A8(4 位权重,8 位激活)或 W6A8(6 位权重,8 位激活)。在 ComfyUI v0.40.0 中,这些由一条通用 INT8 路径处理:量化激活,运行一个矩阵-向量线性 kernel,该 kernel 的编写只匹配 safetensors 文件中存储的 W4A8 VRAM 布局。我们用优化后的矩阵-向量(GEMV)kernel 替换了它,其中权重及其分组 scale 按照 kernel 消费它们的顺序在内存中交错排列。这样一来,每个线程块流式读取一段连续数据,而不必在权重张量和 scale 张量之间来回跳转,从而减少 VRAM 寻址并提高批量 VRAM 读取流水线的效率。这种针对特定 kernel 的 VRAM 重布局在 VRAM 中原地完成,由动态 VRAM 权重加载引擎管理,每次模型加载只需执行一次。该过程不需要额外的 RAM 或 VRAM。这种重布局只对我们的瘦线性层需要,因为更胖的扩散模型线性层瓶颈在算力上,会掩盖上述 VRAM 寻址的延迟。 大多数现代 GPU 都具备 tensor core,可以用一条 GPU 指令计算一个 tile 的矩阵乘法运算。从 30 系列开始的 NVIDIA GPU 针对最小 tile 维度 8 进行了优化,其他矩形维度可以更大。新 kernel 使用这种矩阵乘累加(MMA)指令,权重和输入的排列方式使得上例中所示的瘦维度 M 映射到硬件支持的最小 tile 维度 8。这样就能使用单条指令,同时尽量减少浪费的未使用计算行(当 M < 8 时)。对于纯单 token 生成、即 M=1 的情况,其性能与使用非 tensor(CUDA)core 指令(dp4a)大致相同。然而,考虑 MTP 且 M > 1 时,tile 化方法立刻变得更快。最终,最多八行 MTP 猜测几乎变成免费的,因为我们的 tiler 可以以 M=1 相同的速度计算最多 M=8 的情况。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。