多向量(后期交互)嵌入模型结合Sentence Transformers
2026-08-20 · Hugging Face
多向量(后期交互)嵌入模型结合 Sentence Transformers
Sentence Transformers 是一款用于嵌入模型和重排序模型的 Python 库,广泛应用于检索增强生成(RAG)、语义搜索等场景。v6.0 版本新增了第四种模型类型:MultiVectorEncoder,支持 ColBERT 风格的后期交互检索。
该模型可直接加载任意 PyLate 检查点、Stanford-NLP ColBERT 检查点,以及 colpali-engine 的视觉文档检索模型,并通过与稠密、稀疏和重排序模型完全一致的熟悉 API 使用。
什么是多向量模型?
传统的稠密嵌入模型会将整段文本压缩为一个固定维度的向量(通常为 384、768 或 1024 维)。所有信息都必须挤进这些数字中,相似度仅通过两个向量的一次点积计算。这种压缩虽然效果不错,但在特定情况下存在信息损失:稀有实体、精确标识符或长文本中的关键子句都必须在同一向量中竞争空间。
例如查询“绿色沙发、木质腿部和圆润靠垫”,单一向量必须将四个要求混合成一个点,导致带有错误腿部的绿色沙发仍可能与目标结果距离很近。
多向量模型(也称为后期交互或 ColBERT 风格模型)避免了这种压缩。它使用相同的 Transformer,但不在最后进行池化,而是将每个 token 的嵌入投影到较小维度(经典为 128 维)并全部保留。一个 9 个 token 的文档将表示为 9×128 的矩阵,而非 1×128 的向量。
查询与文档的交互被推迟到评分时刻,这也是“后期交互”名称的由来。它介于交叉编码器(早期充分交互但无法预计算)和双编码器(仅一次点积、可完全预计算)之间:文档可独立编码并离线索引,但在评分时会将每个查询 token 与每个文档 token 进行比较,提供了更丰富的交互空间。
MaxSim 运算符
评分采用 MaxSim 运算符:对查询中的每个 token,找到它与文档中任意 token 的最高相似度,再将这些最大值相加。
公式为:
$$\text{MaxSim}(Q, D) = \sum_{Q_i \in Q} \max_{D_j \in D} Q_i \cdot D_j$$
由于 token 嵌入经过 L2 归一化,每个点积即余弦相似度,最终得分范围为 $[-n, n]$,其中 $n$ 为查询 token 数量。
该运算符可视为一种软对齐:每个查询 token 指向文档中最能解释它的 token,得分反映文档对查询的整体支持程度。
这种对齐不必是词法层面的。例如使用 lightonai/mLateOn 模型,对查询“Where do penguins live?”和“Penguins inhabit Antarctica.”进行编码时,查询 token “live” 与 “inhabit” 的匹配相似度高达 0.94,尽管两个词没有共同字符。这正是传统 BM25 等词法检索无法做到的,而多向量模型在保留精确匹配能力的同时,也能处理同义词和改写。
与单一向量模型不同,重要精确匹配(如产品代码、姓氏、函数名)不会被平均化处理。多个查询 token 也可能指向同一个文档 token。
优势与代价
多向量模型能显著提升检索质量,尤其在以下场景:文档中某一特定片段决定相关性、多条件查询(每个条件可找到各自证据)、以及分布外数据(稠密模型的压缩可能丢弃了生产环境中需要的信息)。
稠密模型的单一向量压缩是从训练查询中学习得到的,模型倾向于保留训练查询所需的信息而丢弃其他内容,这可能恰好丢弃生产查询所依赖的关键细节。
优势的代价是索引体积更大,因为需要为每个文档存储多个向量。文章后续还将介绍如何加载不同格式检查点、编码与评分、集成到搜索系统中、在页面图像上直接运行模型(无需 OCR)以及如何保持索引体积可控等内容。
所有示例均可在执行 `pip install -U sentence-transformers` 后直接运行。该更新使 Sentence Transformers 能够统一支持稠密、稀疏、重排序和多向量四种模型类型,并已在视觉文档检索领域达到当前最佳水平。