
Tom Aarsen 提出面向多向量嵌入模型的 Token Pooling 感知训练方法
来源标题:Token Pooling-Aware Training for Multi-Vector Embedding Models
Tom Aarsen 发布了一种 Token Pooling-Aware Training 方法,通过在训练阶段让编码器学会在向量合并时保留关键信息,缓解多向量嵌入模型压缩后的检索质量损失。该方法以 Sentence Transformers 中的损失包装器形式实现,并支持可选的内核加速。多向量模型为每个查询 token 单独匹配文档,百万级文档语料可产生上亿个向量,Token Pooling 通过合并相似 token 向量来压缩表示。
以下正文由 AI 翻译自 Hugging Face Blog(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
返回文章列表 a]:hidden"> 面向多向量嵌入模型的 Token 池化感知训练 已发布 2026年11月11日 在 GitHub 上更新 点赞 2 Tom Aarsen tomaarsen 关注 :last-child]:mb-0"> 目录 为什么多向量检索需要这么多向量 Token 池化 选择池化预算 校准自适应池化 Token 池化感知训练 在 Sentence Transformers 中实现损失包装器 可选的核加速 使用训练好的模型 评估结果 组合压缩技术 参考文献 代码与模型 多向量嵌入模型让每个查询 token 都有机会在文档中找到匹配。这使得它们在搜索中极具表现力,但那些文档向量会迅速累积。一个包含数百万文档的语料库可能包含数亿个向量! Token 池化通过合并相似的 token 向量来缩小这些表示。然而,我压缩得越激进,就越容易丢失有用的信息。池化感知训练教会编码器在向量被合并时保留重要的信息,帮助你在相同的存储预算下获得更好的检索效果。 在本文中,我将解释池化的工作原理,使用 Sentence Transformers 训练一个用于压缩检索的模型,并探讨由此产生的质量与存储权衡。当 pool_factor=4 时,我常规训练的模型在文档向量减少 4 倍的情况下,保留了未池化 NanoBEIR nDCG@10 的 94.6%。而 Token 池化感知训练在相同存储预算下将保留率提升到了 97.8%!让我们看看是如何做到的。 本文基于 Stefan Josef 的 Learn to Pool 和 LightOn 的池化正则化研究中探讨的池化感知训练,后者还探索了针对性训练和自适应预算。在这里,我将专注于理解该方法,并通过一个简短、可复现的 Sentence Transformers 示例将其付诸实践。 目录 为什么多向量检索需要这么多向量 Token 池化 选择池化预算 校准自适应池化 Token 池化感知训练 在 Sentence Transformers 中实现损失包装器 可选的核加速 使用训练好的模型 评估结果 组合压缩技术 参考文献 代码与模型 为什么多向量检索需要这么多向量 单向量嵌入模型将整个文档压缩成一个向量。而像 ColBERT 这样的多向量模型则保留一组上下文 token 向量,允许查询的不同部分匹配文档的不同部分。 例如,一个关于长续航笔记本电脑的查询,可以在文档的某一部分找到关于笔记本电脑的信息,在另一部分找到关于电池续航的信息。使用 MaxSim 评分时,每个查询向量选择其最佳匹配的文档向量,然后将这些分数相加: MaxSim(Q,D)=∑q∈Qmaxd∈Dq⊤d \operatorname{MaxSim}(Q, D) = \sum_{q \in Q} \max_{d \in D} q^\top d MaxSim(Q,D)=q∈Q∑d∈Dmaxq⊤d 即使使用 Fast-PLAID 支持的 2 位或 4 位残差量化,每个文档存储数百个向量也会累积起来。在残差坐标 4 位的情况下,200 个 128 维向量每个文档需要 12.8 KB 的量化残差,即一百万个文档需要 12.8 GB。将每个文档池化到 50 个向量,在相同的维度和精度下可减少到 3.2 GB。 一个有用的观察是,许多文档向量可能彼此相似。多个 token 可能描述密切相关的概念,这为将它们一起表示创造了机会。 Token 池化 HierarchicalTokenPooling 使用 Ward 层次聚类对相似的 token 嵌入进行分组。它从每个 token 向量一个组开始,反复合并那些使组内向量分散程度增加最小的两个组。这种分散程度通过每个向量到其组均值的平方距离之和来衡量,因此 Ward 方法倾向于选择相似向量的紧凑组。 这些合并构建了一个逐渐增大的组层次结构,让我们能够选择适合预算的压缩级别。然后我们用每个组的均值来表示该组,并再次对得到的向量进行归一化,准备好进行 MaxSim 评分。 你可以让压缩与文档长度成正比: from sentence_transformers.multi_vector_encoder.modules import HierarchicalTokenPooling pooling = HierarchicalTokenPooling(pool_factor=4) 使用 pool_factor=4 时,文档大约保留其原始向量的四分之一,因此较长的文档可以按比例保留更多容量。默认情况下,第一个 token 受到保护不被合并,并且池化仅应用于文档嵌入,查询嵌入保持不变。 选择池化预算 HierarchicalTokenPooling 提供三种替代控制方式: 当文档长度不同时,这种区别很重要。使用 pool_factor=4 时,较长的文档可以保留大约四分之一的向量,使其表示能够随内容增长。而使用 distance_threshold 时,当需要保留更多不同的嵌入时,向量数量可以增长。 校准自适应池化 自适应池化使用共享的距离阈值来更积极地合并相似嵌入,同时为内容独特的文档保留更多向量。它可以与任何多向量模型一起使用,包括未使用池化感知目标训练的模型。 与其手动选择阈值,你可以针对目标平均向量数量进行校准。给定 corpus 在 calibration_documents 中的代表性样本: from sentence_transformers import MultiVectorEncoder from sentence_transformers.multi_vector_encoder.modules import HierarchicalTokenPooling model = MultiVectorEncoder("lightonai/LateOn") calibration_embeddings = model.encode_document(calibration_documents) threshold = HierarchicalTokenPooling.calibrate_distance_threshold(calibration_embeddings, target_tokens=16) pooling = HierarchicalTokenPooling(distance_threshold=threshold)
应用池化,目标为每个文档平均 16 个向量
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。