返回资讯中心
外部精选
软件工程
#开发者实时流

微软推出LLMLingua-2,可将提示词压缩50%且保持准确率

来源标题:Microsoft can compress your prompts by 50% while preserving accuracy

微软发布LLMLingua-2,能在保持任务准确率的前提下将提示词压缩50%。该方法通过数据蒸馏学习压缩目标,实现高效且忠实于原意的任务无关提示压缩。相关论文、代码和在线演示已公开。

Hacker News 最新mrkn12026/11/4 · 13 天前11 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

更多研究 SCBench RetrievalAttention MInference LLMLingua LongLLMLingua LLMLingua-2 SeCom LLMLingua-2:通过数据蒸馏学习压缩目标,实现高效忠实的任务无关提示压缩 Zhuoshi Pan、 Qianhui Wu、 Huiqiang Jiang、 Menglin Xia、 Xufang Luo、 Jue Zhang、 Qingwei Lin、 Victor Rühle、 Yuqing Yang、 Chin-Yew Lin、 H. Vicky Zhao、 Lili Qiu、 Dongmei Zhang Microsoft Corporation {qianhuiwu, hjiang, xufang.luo}@microsoft.com 论文 代码 HF Demo 新闻 🍩 [24/12/13] 我们很高兴宣布发布以 KV cache 为核心的分析工作 SCBench,它从 KV cache 的视角评估长上下文方法。 👘 [24/09/16] 我们很高兴宣布发布 KV cache 卸载工作 RetrievalAttention,它通过向量检索加速长上下文 LLM 推理。 🌀 [24/07/03] 我们很高兴宣布发布 MInference,以加速长上下文 LLM 的推理,在 A100 上预填充阶段将推理延迟最多降低 10 倍,同时在 1M token 提示中保持准确率!更多信息,请查看我们的论文、访问项目页面。 🦚 我们很高兴宣布发布 LLMLingua-2,相比 LLMLingua 速度提升 3 倍至 6 倍!更多信息,请查看我们的论文、访问项目页面,并体验我们的 demo。 👾 LLMLingua 已集成到 LangChain 和 LlamaIndex 这两个广泛使用的 RAG 框架中。 🤳 演讲幻灯片可在 AI Time Jan, 24 中获取。 🖥 EMNLP'23 幻灯片可在 Session 5 和 BoF-6 中获取。 📚 查看我们的新博客文章,讨论 RAG 的优势以及通过提示压缩节省的成本。脚本示例见这里。 👨‍🦯 浏览我们的 './examples' 目录以获取实际应用,包括 LLMLingua-2、RAG、Online Meeting、CoT、Code 以及使用 LlamaIndex 的 RAG。 LLM 的提示正变得越来越长,有时超过数万个 token。然而,更长的提示可能导致 1)API 响应延迟增加,2)超出上下文窗口限制,3)上下文信息丢失,4)昂贵的 API 账单,以及 5)“lost in the middle”等性能问题。 受“LLM 是压缩器”这一概念的启发,我们设计了一系列工作,试图通过提示压缩为 LLM 构建一种语言。这种方法加速模型推理、降低成本,并改善下游性能,同时揭示 LLM 的上下文利用和智能模式。 --> LLMLingua-2 专注于任务无关的提示压缩,以获得更好的泛化性和效率。 考虑到自然语言中的冗余,现有方法根据从因果语言模型(如 LLaMa-7B)获得的信息熵,通过移除 token 或词汇单元来压缩提示。 挑战在于,信息熵可能是一种次优的压缩度量: (i)它只利用单向上下文,可能无法捕获提示压缩所需的全部关键信息; (ii)它与提示压缩目标不一致。 为解决这些问题,我们提出一种数据蒸馏程序,从 LLM 中提取知识来压缩提示而不丢失关键信息,同时引入一个抽取式文本压缩数据集。 我们将提示压缩形式化为 token 分类问题,以保证压缩后的提示对原始提示的忠实性, 并使用 Transformer 编码器作为基础架构,从完整的双向上下文中捕获提示压缩所需的所有关键信息。 我们的方法通过使用 XLM-RoBERTa-large 和 mBERT 等较小模型显式学习压缩目标,从而降低延迟。 我们在域内和域外数据集上评估我们的方法,包括 MeetingBank、LongBench、ZeroScrolls、GSM8K 和 BBH。 尽管模型规模较小,我们的模型相比强基线显示出显著的性能提升,并在不同 LLM 上展现出稳健的泛化能力。 自然语言是冗余的,信息量各不相同。

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →