返回资讯中心
外部精选
软件工程
#开发者实时流

文章解析LLM推理的效率前沿:哪些技术优化目标点,哪些推动前沿外移

来源标题:The efficient frontier of LLM inference

一篇技术文章梳理了LLM推理中的效率前沿:放弃单用户速度可换取面向批量任务的高吞吐低成本流水线,牺牲吞吐则可降低延迟,而部分技术能整体外推这条前沿。文章以GLM-5.3、Kimi K3等模型在启用KV缓存复用和KV感知路由的智能体编码场景为例,指出实际前沿呈锯齿状,小改动可能带来大影响,生产环境达标更多取决于找到合适配置。

Hacker News 最新gmays2026/11/15 · 今天14 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

能够通过权衡取舍来瞄准效率前沿上的任意一点是很有用的。放弃每用户速度,就可以为批处理工作负载构建高吞吐、低成本的流水线。当对延迟敏感的用户愿意支付较高费用时,牺牲吞吐量来提升速度是合理的。

当然,把整条前沿向外推是非常有用的。释放更多效率所带来的收益,可以分配到更低延迟、更高吞吐,或两者的组合上。

本文详细说明哪些推理工程技术能让你瞄准前沿上的某一点,哪些技术能把整条前沿向外推。本文中,我们假设运行的是 GLM-5.3 或 Kimi K3 这类 LLM,用于 agentic coding,并启用了 KV cache 复用和最优的 KV-aware 路由。

在生产环境中命中某个目标,往往不在于发现什么新颖的方法,而更多在于根据流量的性质找到正确的配置组合。

在实践中,效率前沿是非常参差不齐的。它不是结果之间一条平滑连续的线,微小的改动可能带来巨大的影响。这些临界点往往不符合直觉,必须通过扫描实验来经验性地发现。

延迟与吞吐之间最明显的权衡来自批大小。一个批次是并发处理的请求数量。虽然 token 级的连续批处理意味着不会因为等待批次启动而产生延迟,但配置的批大小决定了每用户延迟和整体吞吐。

批大小较小时,每用户延迟极佳,但每块 GPU 生成的 token 总量很少。这意味着每 token 成本相当高。增大批大小则效果相反:每用户延迟变差,整体吞吐更好、成本更低。

当今的 LLM 参数量达到数千亿甚至数万亿,必须分布到多块 GPU 上。它们在 GPU 之间共享(即并行化)的方式,可以提升延迟或吞吐。

对于延迟敏感的部署,应专注于提高张量并行(TP)。虽然 TP 有昂贵的 all-to-all 通信,但这些操作在 high-bandwidth NVLink 互连上很快,因此对降低延迟很有效。

专家并行(EP)对延迟和吞吐都有帮助。较低的 EP 程度通常与更好的延迟相关,而宽 EP(包括跨整个 GPU 机架的 EP)通常支持更高的吞吐。

另一种提升吞吐的并行技术是注意力数据并行(ADP)。该技术复制注意力层以并行计算,以牺牲每请求速度来提升系统吞吐。

量化,即以更低的精度运行模型的权重、激活和/或 KV cache 值,可以同时改善延迟和吞吐。量化模型把 serving 权衡的效率前沿向外推。

然而,量化在质量和 serving 效率之间引入了一组新的权衡。这是一条特别参差不齐的前沿,serving 效率可能大幅提升,而模型质量几乎不降甚至完全不降,尤其是在使用 MXFP4 和 NVFP4 这类 microscaling 浮点数格式时。

这些技术是能上头条的那些。提升整体性能是推理工程中最有趣的部分。

最棒的是,这些技术往往会叠加。例如,更好的硬件带来一倍性能提升,更好的软件再带来一倍性能提升,意味着整体 serving 有四倍提升,可以分配到延迟和吞吐上。

CUDA kernel 是执行推理过程中单个环节(如矩阵乘法)的底层函数。改善单个 kernel 的性能,以及推理引擎中前向传播的端到端性能,意味着生成每个 token 所需的资源更少。这些效率增益在整个栈中叠加,推动性能前沿外移。

关于 kernel 级性能的更多内容,请阅读 Baseten 实习生 Brian Li 的这篇精彩文章。

投机解码是猜测模型可能生成哪些 token,然后验证这些猜测的过程。投机解码刚出现时,这在延迟和吞吐之间构成权衡:投机代价高昂,序列长度短,接受率低,意味着投机解码只在小批大小下可行。

如今,EAGLE-3、DSpark 和 DFlash 等技术仍会与主模型循环争夺资源,一定程度上限制了最大批大小。然而,由于这些技术表现强劲,尤其是在输出 token 序列相对可预测的代码生成上,它们除了以每用户每秒更多 token 的形式带来延迟的直接降低之外,还通过跳过的前向传播带来效率增益。

P/D 分离,即把 prefill 和 decode 分离到专用 worker 上,是优化 LLM 大规模部署的一种策略。独立运行 prefill 和 decode 意味着 worker 可以针对推理各阶段的独特特性进行优化,并且 prefill 与 decode worker 之间的比例可以调整,以匹配输入和输出序列长度以及来自传入流量的缓存命中率。

本文概述了管理权衡的技术与提升系统级性能的技术。关于本文提到的每种技术的更多细节,请阅读我的免费书《Inference Engineering》。

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →