
文章详解九项LLM推理性能指标及其计算方式
来源标题:9 Key LLM Inference Metrics Explained in 5 Minutes
一篇技术文章梳理了衡量LLM推理性能的九项关键指标,并给出各自的公式与用途。文章指出,高token吞吐量并不等于良好的用户体验,首个token延迟或并发下的流式速度都可能拖慢体验。指标覆盖从请求发出到首token、末token到达的时间点,以及输出token数量等基础变量。
以下正文由 AI 翻译自 KDnuggets(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
在大语言模型(LLM)应用中,高 token 吞吐量并不一定意味着用户能获得快速的体验。首个 token 可能迟迟不到,后续 token 也可能流式输出过慢,尤其是在并发负载下。仅凭吞吐量无法反映这些差异。
LLM 推理指标可以把性能拆解为可度量的组成部分,从最初的响应延迟到 token 生成速度,再到整体系统负载。本文介绍九个关键指标、它们的计算公式,以及如何用它们评估延迟、识别瓶颈并跟踪性能随时间的变化:
我们先从单个请求的时间线说起。
四个值定义了下面大多数延迟指标。( t_{\text{send}} ) 是请求离开客户端的时刻,( t_{\text{first}} ) 是首个输出 token 到达的时间,( t_{\text{last}} ) 是最后一个输出 token 到达的时间,( N_{\text{out}} ) 是输出 token 的数量。ITL 还需要每个单独输出 token 的到达时间 ( t_j ),其中 ( t_1 = t_{\text{first}} ),( t_{N_{\text{out}}} = t_{\text{last}} )。
放在时间线上看,这三个时间戳把一个请求切成两段:
在 ( t_{\text{first}} ) 之前,请求可能在队列中等待,然后服务器执行 prefill,即处理 prompt 并生成首个 token。在 ( t_{\text{first}} ) 之后,服务器执行 decode,逐步输出 token,通常每一步生成一个 token。下面的每个延迟指标度量的都是其中某一段,或者整个时间跨度。
前六个指标描述用户需要等待多久,先看单个请求,再看多个请求的情况。
TTFT 是从发送请求到收到首个输出 token 之间的延迟。它包含网络传输、服务器队列中的等待,以及 prompt 处理步骤,因此会随服务器负载和 prompt 长度增加而增长。
[ \text{TTFT} = t_{\text{first}} - t_{\text{send}} ]
交互式聊天应用最关注这个数值,因为它决定了用户盯着空白屏幕的时间有多长。
E2E 延迟是总等待时间,从发送请求到收到最后一个 token。
[ \text{E2E} = t_{\text{last}} - t_{\text{send}} ]
它等于首 token 等待时间与流式输出时间之和,后者正是下一个指标所度量的内容。
Token 生成时间是流式输出段的持续时间:服务器从首个 token 之后到送达全部 token 所需的时间。
[ \text{TokenGen} = t_{\text{last}} - t_{\text{first}} = \text{E2E} - \text{TTFT} ]
Token 生成时间会随输出 token 数量增加而增长,因此应使用 TPOT(下文讨论)来判断流的快慢,因为 TPOT 会把这个长度因素除掉。
TPOT 是首个 token 之后各输出 token 之间的平均时间。它把 token 生成时间均匀分摊到首个 token 之后的各个 token 上。
[ \text{TPOT} = \frac{\text{E2E} - \text{TTFT}}{N_{\text{out}} - 1} = \frac{\text{TokenGen}}{N_{\text{out}} - 1} ]
首个 token 属于 TTFT,这就是分母为 ( N_{\text{out}} - 1 ) 的原因,也是单 token 回复的 TPOT 无定义的原因。基准测试工具在细节上并不一致:有些把 TTFT 计入平均值,有些则把 ITL 当作 TPOT 的另一个名称。在跨工具比较结果之前,请先确认其定义。
ITL 是两个连续输出 token 之间的间隔。一个有 ( N_{\text{out}} ) 个 token 的请求有 ( N_{\text{out}} - 1 ) 个间隔,每个间隔都是一次独立的测量。
[ \text{ITL}j = t{j+1} - t_j, \quad j = 1, \dots, N_{\text{out}} - 1 ]
对单个请求而言,其 ITL 值的均值等于其 TPOT。在 ( R ) 个请求上,这两种平均值对数据的加权方式不同。记 ( N_i ) 为请求 ( i ) 的输出 token 数,则平均 ITL 把每个间隔计一次,而平均 TPOT 把每个请求计一次:
[ \overline{\text{ITL}} = \frac{\sum_{i=1}^{R} \sum_{j=1}^{N_i - 1} \text{ITL}{i,j}}{\sum{i=1}^{R} (N_i - 1)} \qquad \overline{\text{TPOT}} = \frac{1}{R} \sum_{i=1}^{R} \text{TPOT}_i ]
少数长请求会主导第一个平均值,而第二个平均值让短请求和长请求拥有同等权重。ITL 还保留了每个单独的间隔,流的停顿正是在这里显现出来。
延迟因请求而异,因此每个请求一个数值,在大量请求上就变成了一个分布。
将以下三种统计量分别应用于 TTFT、TPOT 和 E2E。
把 ( N ) 个测量值按升序排列为 ( x_{(1)} \le x_{(2)} \le \dots \le x_{(N)} ),最近秩方法给出:
[ \bar{x} = \frac{1}{N} \sum_{i=1}^{N} x_i \qquad P_k = x_{\left(\left\lceil \frac{k}{100} N \right\rceil\right)} ]
每个百分位数都应基于所有服务器合并后的原始样本计算,因为各服务器 P99 值的平均值并不等于合并流量的 P99。
最后三个指标描述整个服务器,在一个从 ( t_{\text{start}} ) 到 ( t_{\text{end}} ) 的测量窗口内。
RPS 统计服务器每壁钟秒完成的请求数。
[ \text{RPS} = \frac{N_{\text{completed}}}{t_{\text{end}} - t_{\text{start}}} ]
RPS 忽略了每个请求承载多少工作量,因此只能在 prompt 和输出长度构成相同的运行之间进行比较。
TPS 统计服务器在所有活跃请求上每秒处理的 token 数。它有输出形式和输入形式。记 ( N_{\text{prompt},i} ) 为请求 ( i ) 的 prompt token 数:
[ \text{TPS}{\text{out}} = \frac{\sum{i} N_{\text{out},i}}{t_{\text{end}} - t_{\text{start}}} \qquad \text{TPS}{\text{in}} = \frac{\sum{i} N_{\text{prompt},i}}{t_{\text{end}} - t_{\text{start}}} ]
引用数值时要说明它用的是哪种形式,因为长 prompt、短回复的工作负载可能录得很高的输入 TPS,而输出 token 却很少。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。