返回资讯中心
外部精选
软件工程
#开发者实时流

测试显示笔记本LLM生成速度受内存带宽线性限制

来源标题:A Straight Line Predicts How Fast My Laptop Generates LLM Tokens

作者在笔记本上测量了六个不同规模模型的每输出token耗时(TPOT),发现生成速度主要由内存带宽决定,二者呈直线关系。解码阶段每生成一个token都需从RAM重新读取全部模型权重,例如988MB的模型每token都要经200GB/s带宽重读一次。

Hacker News 最新photon_collider2026/11/15 · 2 天前23 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

为了弄清楚内存带宽如何限制 LLM 生成 token 的速度,我深入钻研了一番。

我上一篇帖子留下了一个悬念。对于 Qwen2.5-0.5B 这个模型,我发现不同 prompt 大小下,每个输出 token 的耗时(TPOT)大约都是 9 ms。但我当时没法解释原因。

后来我了解到,在大语言模型(LLM)推理的解码阶段,主要瓶颈是内存带宽,也就是 GPU 从 RAM 中读取 LLM 模型权重的速率。为了探究这一点,我测量了笔记本上六个不同规模模型的 TPOT。

在 LLM 推理中,解码阶段一次生成一个 token。每生成一个 token,权重都必须从 RAM 流式传输到 GPU 芯片,下一个 token 在那里计算出来。

换句话说,要生成 N 个 token,就得把模型权重重读 N 遍。这是因为 GPU 芯片的显存有限,根据硬件不同,大约在 KB 到 MB 量级,所以它没法一次性装下所有权限。

磁盘(SSD)模型文件仅模型加载时读取一次RAM(16 GB)CPU 与 GPU 共享模型权重 988 MB每生成一个 token200 GB/s(内存带宽)GPU 芯片片上内存几 MB计算单元

在 MacBook 上,RAM 由 CPU 和 GPU 共享。生成输出 token 时,权重先从磁盘复制到 RAM,只复制一次。此后系统每生成一个 token,就要把全部 988 MB 从 RAM 流式传输到 GPU 芯片,而 GPU 芯片一次只能容纳几 MB。

内存带宽决定了这个过程的速度上限:

也就是说,TPOT 的最低可能值等于模型大小除以系统的内存带宽。

例如,Qwen2.5-0.5B 的权重占用约 988 MB 存储空间。因此,在我这台搭载 M2 Pro 芯片(16 GB)、峰值内存带宽 200 GB/s 的 MacBook Pro 上,该模型 TPOT 的最低可能值预计为 4.94 ms。

我们可以用一个线性模型来刻画模型大小与 TPOT 之间的关系,其中模型大小是自变量,TPOT 是因变量。

TPOT(ms)模型大小(GB)最优情况完整 200 GB/s,无额外开销实测值固定开销1 GB读取 1 GB 的时间

模型大小与每个输出 token 耗时(TPOT)之间的线性关系。图中,固定开销决定直线的起点,读取每 GB 所需的时间决定直线的斜率。

这条直线的斜率反映了有效内存带宽。虽然我笔记本的峰值带宽是 200 GB/s,但不能指望全部用上。部分原因是内存带宽由 CPU、GPU 和笔记本显示屏共享。因此 LLM 推理只能用剩下的带宽,我们把它定义为有效带宽。

此外,这条直线的纵向截距衡量的是系统开销,它被视为与模型大小无关的固定开销。我猜测这个固定开销可能包括 GPU 开始工作所需的时间,以及其他一些因素。

我用 Qwen2.5、Qwen3 和 Gemma 3 系列的模型,在 MacBook Pro 上测量了 TPOT 与模型大小的关系。每个模型我都跑了 bfloat16 和 float32 两种精度,以便图中有更多数据点。

实测值拟合直线200 GB/s 规格上限拟合直线:163 GB/s。200 GB/s 规格上限:200 GB/s。Gemma 3 270M,bfloat16:0.54 GB,7.1 ms。Gemma 3 270M,float32:1.07 GB,9.2 ms。Qwen2.5 0.5B,bfloat16:0.99 GB,9.0 ms。Qwen2.5 0.5B,float32:1.98 GB,14.9 ms。Gemma 3 1B,bfloat16:2.00 GB,17.6 ms。Gemma 3 1B,float32:4.00 GB,28.8 ms。Qwen2.5 1.5B,bfloat16:3.09 GB,22.1 ms。Qwen2.5 1.5B,float32:6.17 GB,41.1 ms。Qwen3 0.6B,bfloat16:1.19 GB,12.9 ms。Qwen3 0.6B,float32:2.38 GB,19.8 ms。Qwen3 1.7B,bfloat16:3.44 GB,26.2 ms。Qwen3 1.7B,float32:6.88 GB,46.1 ms。0204060TPOT(ms)02468模型权重(GB)163 GB/s200 GB/s

这次测量用了六个模型:Gemma 3(270M、1B)、Qwen2.5(0.5B、1.5B)和 Qwen3(0.6B、1.7B),每个都分别用 bfloat16 和 float32 跑,共 12 个数据点。

图中的虚线代表最优情况:没有固定开销,且系统跑满 200 GB/s 峰值带宽。

我测得的有效带宽是 163 GB/s,固定开销是 4.03 ms。我去掉最大的那个 LLM——Qwen3 1.7B 的 float32 结果(6.88 GB)——重新做了一次线性拟合,以检验它对趋势的刻画有多好。结果这条直线对该模型 TPOT 的预测误差在 0.2% 以内(预测 46.2 ms,实测 46.1 ms)。

总体来看,所有点与直线的偏差都在 1.6 ms 以内。偏离趋势最多的是 Qwen3 0.6B(bfloat16)和 Gemma 3 270M(float32),误差分别为 12.3% 和 15.6%。最吻合的是 Qwen3 1.7B(float32),误差仅 0.1%。

如下表所示,总体趋势是:模型越大,TPOT 也越高,符合预期。

对每个模型,我把时间拆成两步来计算各自占比:

可以看到,模型越小,系统开销在生成一个新 token 所需时间中的占比就越大。对最小的模型,我的笔记本大约 45% 的时间花在读取权重上;而对最大的模型,这一比例是 91%。

对每个模型,我都用上一篇帖子中类似的 ttft_tpot 函数来测量 TPOT,PyTorch 使用 MPS 后端,这样 PyTorch 就能在 MacBook 的集成 GPU 上运行代码。

复制代码已复制

import statistics
import time
import torch

def timed_generate(model, ids, n):
    torch.mps.synchronize()  # 等待之前所有 GPU 工作完成
    t0 = time.perf_counter()
    model.generate(ids, min_new_tokens=n, max_new_tokens=n, do_sample=False)
    torch.mps.synchronize()  # 等待本次调用的 GPU 工作完成
    return time.perf_counter() - t0

def ttft_tpot(model, ids, num_samples=5):
    timed_generate(model, ids, 1)  # 预热
    ttft = statistics.median(timed_generate(model, ids, 1) for _ in range(num_samples))
    total = statistics.median(timed_generate(model, ids, 101) for _ in range(num_samples))
    return ttft, (total - ttft) / 100

然后我遍历各个模型:

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →