返回资讯中心
外部精选
软件工程
#开发者实时流

Gisting 技术将系统提示压缩为 gist tokens,推理速度提升且成本降低

来源标题:Gisting

Gisting 通过知识蒸馏学习一组特殊 token 的嵌入,在推理时替换系统提示,将 Sidekick GraphQL agent 的提示从约 6000 token 压缩到约 1500 个 gist token(4:1),预测质量不降。在每分钟 350 次请求下,首 token 中位时间从 438ms 降至 354ms,端到端请求延迟中位数从 6.8s 降至 4.2s。

Hacker News 最新sonabinu2026/11/10 · 8 天前16 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

Gisting 将上下文压缩成一组学习得到的 token,在保持质量的同时让模型更快、更便宜。系统提示词每次请求可能占用数千个 token。提示词越长,推理就越慢、越贵。这也意味着在专用硬件上部署模型时,需要更多 GPU 才能承载同样的流量。我们在 Prompt Compression and Contrastive Conditioning for Controllability and Toxicity Reduction in Language Models¹ 中首次提出的 gisting 实现,让我们能以短提示词的成本获得长提示词的行为优势。通过 gisting,我们将 Sidekick GraphQL agent 的系统提示词从约 6,000 个 token 压缩到约 1,500 个 gist token(4:1 压缩),且没有损失预测质量。我们的做法是通过知识蒸馏学习一组特殊 token 的 embedding,并在推理时用它们替换系统提示词。将系统提示词以 4:1 压缩为 gist token 带来的服务收益非常显著。在每分钟 350 次请求(RPM)下,首 token 延迟中位数(TTFT)从 438ms 降至 354ms,端到端请求延迟中位数从 6.8s 降至 4.2s,吞吐量从每秒 20.2 次查询(QPS)提升至 23.4 QPS。这些收益让我们减少了分配给 GraphQL agent 流量的 GPU 数量。gist token 是我们加入模型词表的特殊 token。我们训练这组 embedding 序列,使得将它们替换进上下文后,模型会表现得像看到了完整提示词一样。在 4:1 压缩下,每四个提示词 token 我们加入一个 gist token。我们冻结模型权重,只训练 gist embedding。我们通过知识蒸馏学习 gist embedding。对每条轨迹我们运行两次前向传播。在教师传播中,模型看到完整的自然语言提示词,从而为模型回复中的每个位置得到教师 logits。在学生传播中,我们将完整提示词替换为 gist token,再次运行同一模型,得到与每个教师回复位置对应的学生 logits。我们使用教师 logits 与学生 logits 之间的 KL 散度来训练 gist embedding,直到学生的预测与教师高度匹配。部署经过 gisting 的模型很简单。训练结束后,我们直接将 gist embedding 写入模型的 embedding 矩阵,并将新的 gist token 注册为模型 tokenizer 中的特殊 token。推理时,模型的加载和运行与任何其他模型一样:不需要自定义 attention mask、额外的 encoder 或特殊的 serving 路径。推理时唯一的变化在请求侧:用 gist token 字符串替换提示词。压缩的全部成本只在训练时支付一次。gisting 和前缀缓存的优势并不互斥。所有现代 serving 引擎都维护一个 KV 缓存,存储已见序列的 key 和 value。当新请求包含缓存中已存在的序列(通常包括系统提示词)时,该序列的 KV 张量会被直接取出,而不是重新计算。尽管前缀缓存很强大,但它并不能消除解码成本。模型每生成一个 token,该 token 都要对序列中的每个 key 做 attention,无论是否已缓存。由于解码受内存带宽限制,每生成一个 token 都必须从高带宽内存中流式读取整个 KV 缓存,而这一读取量随缓存序列长度线性增长。Gisting 降低了 attention 计算和 KV 缓存读取的成本,后者在 batch size 增大时对吞吐量影响尤为显著。gisting 和前缀缓存的优化可以叠加,我们在实验和生产 serving 栈中同时使用两者。为了调优超参数,我们将一个自动研究循环指向训练器。它提出一套配方、训练 gist embedding、评估得到的模型,然后重复。在自动研究循环中,有三项优化影响特别大:除了简化超参数调优,自动研究还帮助我们在训练基础设施中实现了几项关键优化。第一是损失归一化的方式:按回复 token 取平均会让模型产生幻觉,而按 batch 取平均能保留更多来自长回复的信号,并产生稳定的 embedding。第二是速度:预计算教师 logits 和预 tokenize 数据将一次完整运行从三十小时缩短到六小时。我们进行了负载测试,比较同一模型在压缩提示词与完整提示词下的表现。Gisting 相比完整提示词带来了显著的延迟收益,且随着请求并发度上升、batch 变大,差距更加明显。在 350 RPM 下,TTFT 下降 19%,端到端延迟下降约 38%,吞吐量提升 16%。在实践中,这 16% 的吞吐量提升直接转化为生产工作负载上的 GPU 节省。在服务我们 GraphQL 流量的硬件配置下,使用 gisting 后我们能够少用 14% 的 GPU。Gisting 也能很好地融入 Shopify 的持续学习循环。一旦我们得到了某个模型的蒸馏 gist embedding,就可以将该模型视为持续学习的新起点。我们可以将 gist embedding 作为前缀进行后训练,并将梯度更新同时应用于模型权重和 gist embedding。通过在增量数据上同时优化权重和 gist embedding,我们可以持续校准和改进模型,而无需每次都从头蒸馏 gist embedding 的计算开销。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →