返回资讯中心
外部精选
软件工程
#开发者实时流

vLLM 如何实现开放权重模型的大规模推理服务

来源标题:Why generating 4 LLM tokens costs about the same as 1

vLLM 已成为开放权重模型高吞吐推理的常用方案,解决了模型逐条处理请求时 GPU 算力大量闲置的问题。文章从推理流程入手,解释了大批量请求下高效推理为何困难,以及 vLLM 在其中的作用。

Hacker News 最新EndEntire2026/11/10 · 7 天前30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

LLM 在预测方面也许非常出色,但它们并非为高效处理海量请求而设计。毕竟,它们是模型,不是服务器。更重要的是,一次只处理一个请求的模型对 GPU 算力的利用率低得惊人,大量处理能力处于闲置状态。考虑到 GPU 如此昂贵,这实在是巨大的浪费!

大规模运行推理是人们多年来一直在努力解决的问题,而有一个项目尤其成为了开放权重模型的首选方案:vLLM。

那么,让我们来看看为什么高吞吐量推理如此困难,以及 vLLM 为何在这方面表现出色。

推理入门

模型为什么在利用 GPU 算力方面表现如此糟糕?要理解这一点,我们需要拆解推理的工作原理。

首先,你的提示词被拆分成 token,你可以把它们简单理解为代表单词的数字。这是过度简化吗?绝对是。我们在意吗?今天不在意。

这些 token 随后被送入一系列层中,每一层都会与模型的权重进行乘法、加法和各种数学运算。一层的输出成为下一层的输入,最后一层的输出用于生成下一个 token。每次遍历所有层称为一次前向传播。读取你的提示词需要一次。生成回复每产生一个新 token 需要一次。这两个阶段有各自的名字:

点击演示查看推理的实际运行: tok1tok2tok3tok4tok5math tok1tok2tok3tok4tok5math tok1tok2tok3tok4tok5math tok1tok2tok3tok4tok5tok6No Start prefillBack Start over

所以:prefill 是 LLM 尝试理解你的提示词的过程,decoding 是它生成回复的过程。而在大规模 serving 模型时,最大的挑战来自 decoding。为什么呢?

Decoding 浪费算力

当模型生成文本时,它一次只生成一个 token,而每个 token 都需要 GPU 将模型的全部权重从内存中搬运出来,仅仅为了做一点点数学运算。好吧,也许不止一点点,但远未达到它能做到的程度。毕竟,我们说的是 GPU。它们能举起一万亿次运算,而我们却让它们去拧开一个泡菜罐。

需要明确的是,这不是 LLM 设计上的缺陷。这就是它们的工作方式。大规模推理服务器的任务就是找到绕过这些限制的方法。

更糟的是,当 GPU 几乎没怎么出力时,其他每个请求都不得不排队等待。我不知道你怎么想,但我不希望 Claude 告诉我:“请稍候。您的来电对我们很重要。”

如果我们把请求批处理,使得一次读取模型权重就能为多个请求生成 token,我们就能获得更高的性价比。

静态批处理

批处理请求最简单的方法叫做静态批处理,即调度器触发一次前向传播,其中包含来自多个请求的 token。

下图中的列展示了如何在一次前向传播中处理跨请求的 token。这比一次处理一个请求高效得多,因为我们同时为多个请求生成 token,即使在 decoding 阶段也是如此。

然而,任何给定 LLM 回复的长度都可能差异巨大,而在静态批处理下,下一轮请求必须等到第一批中最后一个请求完成后才能开始。每个完成的请求都会留下一个空位,因此每次前向传播做的有效工作越来越少,而新请求则在排队等待。

那么,与其批处理请求,不如批处理 token 呢?

连续批处理

如今大多数生产推理服务器使用的方法叫做连续批处理。它立即填补那些空位:一个请求完成的瞬间,等待中的请求的 token 就会加入下一次前向传播,让 GPU 尽可能保持忙碌。

太好了!我们现在从 GPU 中榨取了更多的性能,这意味着我们的 AI 服务已经可以投入生产了,对吧?

KV cache

每个新 token 都需要理解它之前的所有 token:你的提示词加上迄今为止生成的所有内容。为什么?因为上下文会影响任何给定单词的含义。例如,通过查看前面的 token,模型可以推断出“dog”在“guard dog”中的含义与在“hot dog”中不同。这个上下文也会影响下一个预测的 token:

guarddoggrowled hotdogsizzled

实际操作中,我们需要所有先前 token 的计算结果来生成下一个 token。我们可以直接重新运行所有那些数学运算,但在实践中没人这么做,因为那意味着每生成一个新 token 都要为你整个对话重新做一遍数学运算。取而代之的是,我们使用一种叫做 KV cache 的东西。KV 代表 key 和 value,是为每个 token 计算的两条信息。

这个缓存随着每个 token、每一层、每个请求而增长,所有这些都存放在 GPU 内存中。这就是我们遇到的下一个大问题。

KV cache 过度分配

我们无法预知 LLM 生成的回复会有多长,因此也无法预知每个请求的 KV cache 会变得多大。为了保险起见,一些推理框架会为每个请求可能的最长回复预留足够的内存。其中大部分内存都空置着。在下面的例子中,有足够的未使用空间几乎可以容纳请求 4 两次,但大部分空间已被承诺给其他请求。

Not enough free spaceRequest 4

这对连续批处理来说是个坏消息。一个等待中的请求只有在内存中有空间容纳其 KV cache 时才能占用空位,而当每个请求都霸占最坏情况下的内存块时,空间在批次大到足以让 GPU 保持忙碌之前就会耗尽。

幸运的是,有更好的方法,现在有请我们的主角:vLLM。

vLLM

vLLM 是一个专为高吞吐量环境构建的推理服务器和框架。它起源于 UC Berkeley 的 Sky Computing Lab,该团队在 2023 年的一篇论文中引入了 PagedAttention(后面会详细介绍),现在由大型开源社区维护。其结构如下:

浏览演示以了解请求在 vLLM 上的生命周期:

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →