
文章解析LLM推理九项关键指标,指出高吞吐量不等于快体验
来源标题:Key LLM Inference Metrics Explained in 5 Minutes
高token吞吐量并不必然带来快速的大语言模型应用体验,首token延迟或后续token流式速度在并发负载下可能明显拖慢体验。文章围绕单次请求时间线,介绍了9项关键指标及其计算公式,用于评估延迟、定位瓶颈并持续追踪性能。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
高 token 吞吐量并不一定意味着大语言模型(LLM)应用的用户体验就快。第一个 token 可能迟迟不来,或者后续 token 流式输出太慢,尤其是在并发负载下。单看吞吐量无法反映这些差异。
LLM 推理指标把性能拆解成可度量的组成部分,从最初的响应延迟到 token 生成速度,再到整体系统负载。本文介绍九个关键指标、它们的计算公式,以及如何用它们评估延迟、定位瓶颈并跟踪性能随时间的变化:
我们先从单个请求的时间线说起。
下面大多数延迟指标都由四个值定义。( t_{\text{send}} ) 是请求离开客户端的时刻,( t_{\text{first}} ) 是第一个输出 token 到达的时间,( t_{\text{last}} ) 是最后一个输出 token 到达的时间,( N_{\text{out}} ) 是输出 token 的数量。ITL 还需要每个输出 token 各自的到达时间 ( t_j ),其中 ( t_1 = t_{\text{first}} ),( t_{N_{\text{out}}} = t_{\text{last}} )。
放到时间轴上,这三个时间戳把一个请求切成两段:
在 ( t_{\text{first}} ) 之前,请求可能先在队列中等待,然后服务器执行 prefill,处理 prompt 并产出第一个 token。在 ( t_{\text{first}} ) 之后,服务器执行 decode,一步一步地输出 token,通常每步一个 token。下面每个延迟指标度量的都是其中某一段或整个跨度。
前六个指标描述用户要等多久,先看单个请求,再看多个请求的情况。
TTFT 是从发出请求到收到第一个输出 token 之间的延迟。它包括网络传输、服务器队列中的等待以及 prompt 处理步骤,因此会随服务器负载和 prompt 长度而增加。
[ \text{TTFT} = t_{\text{first}} - t_{\text{send}} ]
交互式聊天应用最关注这个数字,因为它决定了用户盯着空白屏幕的时间有多长。
E2E 延迟是总等待时间,从发出请求到收到最后一个 token。
[ \text{E2E} = t_{\text{last}} - t_{\text{send}} ]
它等于首 token 等待时间与下一个指标所度量的流式传输时间之和。
Token 生成时间是流式传输段的时长:服务器送出第一个 token 之后的所有 token 需要多长时间。
[ \text{TokenGen} = t_{\text{last}} - t_{\text{first}} = \text{E2E} - \text{TTFT} ]
Token 生成时间随输出 token 数量增加而变长,所以判断流式输出的快慢要用 TPOT(下面讨论),它把这个长度因素除掉了。
TPOT 是第一个 token 之后各输出 token 之间的平均时间。它把 token 生成时间平摊到第一个之后的各个 token 上。
[ \text{TPOT} = \frac{\text{E2E} - \text{TTFT}}{N_{\text{out}} - 1} = \frac{\text{TokenGen}}{N_{\text{out}} - 1} ]
第一个 token 算在 TTFT 里,所以分母是 ( N_{\text{out}} - 1 ),也所以对于只有一个 token 的回复,TPOT 无定义。各类基准测试工具在细节上并不一致:有的把 TTFT 算进平均值,有的把 ITL 当作 TPOT 的另一个名字。跨工具比较结果之前,先确认定义。
ITL 是两个相邻输出 token 之间的间隔。一个有 ( N_{\text{out}} ) 个 token 的请求有 ( N_{\text{out}} - 1 ) 个间隔,每个间隔各是一次独立的测量。
[ \text{ITL}j = t{j+1} - t_j, \quad j = 1, \dots, N_{\text{out}} - 1 ]
对单个请求而言,其 ITL 值的均值等于它的 TPOT。跨 ( R ) 个请求时,这两种平均对数据的加权方式不同。记 ( N_i ) 为请求 ( i ) 的输出 token 数,ITL 均值把每个间隔计一次,TPOT 均值把每个请求计一次:
[ \overline{\text{ITL}} = \frac{\sum_{i=1}^{R} \sum_{j=1}^{N_i - 1} \text{ITL}{i,j}}{\sum{i=1}^{R} (N_i - 1)} \qquad \overline{\text{TPOT}} = \frac{1}{R} \sum_{i=1}^{R} \text{TPOT}_i ]
少数长请求会主导第一个平均值,而第二个平均值让长短请求权重相同。ITL 还保留了每一个单独的间隔,流式输出中的卡顿正是在这里显现出来。
延迟因请求而异,所以每个请求一个数字,放到大量请求上就变成了一个分布。
对 TTFT、TPOT 和 E2E 分别应用下面三种统计量。
把 ( N ) 个测量值按升序排列为 ( x_{(1)} \le x_{(2)} \le \dots \le x_{(N)} ),最近秩法给出:
[ \bar{x} = \frac{1}{N} \sum_{i=1}^{N} x_i \qquad P_k = x_{\left(\left\lceil \frac{k}{100} N \right\rceil\right)} ]
每个百分位数都应基于所有服务器合并后的原始样本计算,因为对各服务器的 P99 取平均并不等于合并流量的 P99。
最后三个指标描述整个服务器,考察的是一个从 ( t_{\text{start}} ) 到 ( t_{\text{end}} ) 的测量窗口。
RPS 统计服务器每壁钟秒完成的请求数。
[ \text{RPS} = \frac{N_{\text{completed}}}{t_{\text{end}} - t_{\text{start}}} ]
RPS 不考虑每个请求承载多少工作量,所以只能在 prompt 与输出长度组合相同的多次运行之间比较。
TPS 统计服务器在所有活跃请求上每秒处理的 token 数。它有输出和输入两种形式。记 ( N_{\text{prompt},i} ) 为请求 ( i ) 的 prompt token 数:
[ \text{TPS}{\text{out}} = \frac{\sum{i} N_{\text{out},i}}{t_{\text{end}} - t_{\text{start}}} \qquad \text{TPS}{\text{in}} = \frac{\sum{i} N_{\text{prompt},i}}{t_{\text{end}} - t_{\text{start}}} ]
引用数字时要说明用的是哪种形式,因为长 prompt、短回复的负载可能报出很高的输入 TPS,而实际产出的输出 token 却很少。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。