
Gisting 技术将系统提示压缩为 gist tokens,推理速度提升且成本降低
来源标题:Gisting
Gisting 通过知识蒸馏学习一组特殊 token 的嵌入,在推理时替换系统提示,将 Sidekick GraphQL agent 的提示从约 6000 token 压缩到约 1500 个 gist token(4:1),预测质量不降。在每分钟 350 次请求下,首 token 中位时间从 438ms 降至 354ms,端到端请求延迟中位数从 6.8s 降至 4.2s。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
Gisting 将上下文压缩成一组学习得到的 token,在保持质量的同时让模型更快、更便宜。系统提示词每次请求可能占用数千个 token。提示词越长,推理就越慢、越贵。这也意味着在专用硬件上部署模型时,需要更多 GPU 才能承载同样的流量。我们在 Prompt Compression and Contrastive Conditioning for Controllability and Toxicity Reduction in Language Models¹ 中首次提出的 gisting 实现,让我们能以短提示词的成本获得长提示词的行为优势。通过 gisting,我们将 Sidekick GraphQL agent 的系统提示词从约 6,000 个 token 压缩到约 1,500 个 gist token(4:1 压缩),且没有损失预测质量。我们的做法是通过知识蒸馏学习一组特殊 token 的 embedding,并在推理时用它们替换系统提示词。将系统提示词以 4:1 压缩为 gist token 带来的服务收益非常显著。在每分钟 350 次请求(RPM)下,首 token 延迟中位数(TTFT)从 438ms 降至 354ms,端到端请求延迟中位数从 6.8s 降至 4.2s,吞吐量从每秒 20.2 次查询(QPS)提升至 23.4 QPS。这些收益让我们减少了分配给 GraphQL agent 流量的 GPU 数量。gist token 是我们加入模型词表的特殊 token。我们训练这组 embedding 序列,使得将它们替换进上下文后,模型会表现得像看到了完整提示词一样。在 4:1 压缩下,每四个提示词 token 我们加入一个 gist token。我们冻结模型权重,只训练 gist embedding。我们通过知识蒸馏学习 gist embedding。对每条轨迹我们运行两次前向传播。在教师传播中,模型看到完整的自然语言提示词,从而为模型回复中的每个位置得到教师 logits。在学生传播中,我们将完整提示词替换为 gist token,再次运行同一模型,得到与每个教师回复位置对应的学生 logits。我们使用教师 logits 与学生 logits 之间的 KL 散度来训练 gist embedding,直到学生的预测与教师高度匹配。部署经过 gisting 的模型很简单。训练结束后,我们直接将 gist embedding 写入模型的 embedding 矩阵,并将新的 gist token 注册为模型 tokenizer 中的特殊 token。推理时,模型的加载和运行与任何其他模型一样:不需要自定义 attention mask、额外的 encoder 或特殊的 serving 路径。推理时唯一的变化在请求侧:用 gist token 字符串替换提示词。压缩的全部成本只在训练时支付一次。gisting 和前缀缓存的优势并不互斥。所有现代 serving 引擎都维护一个 KV 缓存,存储已见序列的 key 和 value。当新请求包含缓存中已存在的序列(通常包括系统提示词)时,该序列的 KV 张量会被直接取出,而不是重新计算。尽管前缀缓存很强大,但它并不能消除解码成本。模型每生成一个 token,该 token 都要对序列中的每个 key 做 attention,无论是否已缓存。由于解码受内存带宽限制,每生成一个 token 都必须从高带宽内存中流式读取整个 KV 缓存,而这一读取量随缓存序列长度线性增长。Gisting 降低了 attention 计算和 KV 缓存读取的成本,后者在 batch size 增大时对吞吐量影响尤为显著。gisting 和前缀缓存的优化可以叠加,我们在实验和生产 serving 栈中同时使用两者。为了调优超参数,我们将一个自动研究循环指向训练器。它提出一套配方、训练 gist embedding、评估得到的模型,然后重复。在自动研究循环中,有三项优化影响特别大:除了简化超参数调优,自动研究还帮助我们在训练基础设施中实现了几项关键优化。第一是损失归一化的方式:按回复 token 取平均会让模型产生幻觉,而按 batch 取平均能保留更多来自长回复的信号,并产生稳定的 embedding。第二是速度:预计算教师 logits 和预 tokenize 数据将一次完整运行从三十小时缩短到六小时。我们进行了负载测试,比较同一模型在压缩提示词与完整提示词下的表现。Gisting 相比完整提示词带来了显著的延迟收益,且随着请求并发度上升、batch 变大,差距更加明显。在 350 RPM 下,TTFT 下降 19%,端到端延迟下降约 38%,吞吐量提升 16%。在实践中,这 16% 的吞吐量提升直接转化为生产工作负载上的 GPU 节省。在服务我们 GraphQL 流量的硬件配置下,使用 gisting 后我们能够少用 14% 的 GPU。Gisting 也能很好地融入 Shopify 的持续学习循环。一旦我们得到了某个模型的蒸馏 gist embedding,就可以将该模型视为持续学习的新起点。我们可以将 gist embedding 作为前缀进行后训练,并将梯度更新同时应用于模型权重和 gist embedding。通过在增量数据上同时优化权重和 gist embedding,我们可以持续校准和改进模型,而无需每次都从头蒸馏 gist embedding 的计算开销。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。