多向量(後期互動)嵌入模型結合Sentence Transformers
2026-08-20 · Hugging Face
多向量(後期互動)嵌入模型結合 Sentence Transformers
Sentence Transformers 是一款用於嵌入模型和重排序模型的 Python 庫,廣泛應用於檢索增強生成(RAG)、語義搜尋等場景。v6.0 版本新增了第四種模型型別:MultiVectorEncoder,支援 ColBERT 風格的後期互動檢索。
該模型可直接載入任意 PyLate 檢查點、Stanford-NLP ColBERT 檢查點,以及 colpali-engine 的視覺文件檢索模型,並透過與稠密、稀疏和重排序模型完全一致的熟悉 API 使用。
什麼是多向量模型?
傳統的稠密嵌入模型會將整段文字壓縮為一個固定維度的向量(通常為 384、768 或 1024 維)。所有資訊都必須擠進這些數字中,相似度僅透過兩個向量的一次點積計算。這種壓縮雖然效果不錯,但在特定情況下存在資訊損失:稀有實體、精確識別符號或長文字中的關鍵子句都必須在同一向量中競爭空間。
例如查詢“綠色沙發、木質腿部和圓潤靠墊”,單一向量必須將四個要求混合成一個點,導致帶有錯誤腿部的綠色沙發仍可能與目標結果距離很近。
多向量模型(也稱為後期互動或 ColBERT 風格模型)避免了這種壓縮。它使用相同的 Transformer,但不在最後進行池化,而是將每個 token 的嵌入投影到較小維度(經典為 128 維)並全部保留。一個 9 個 token 的文件將表示為 9×128 的矩陣,而非 1×128 的向量。
查詢與文件的互動被推遲到評分時刻,這也是“後期互動”名稱的由來。它介於交叉編碼器(早期充分互動但無法預計算)和雙編碼器(僅一次點積、可完全預計算)之間:文件可獨立編碼並離線索引,但在評分時會將每個查詢 token 與每個文件 token 進行比較,提供了更豐富的互動空間。
MaxSim 運算子
評分採用 MaxSim 運算子:對查詢中的每個 token,找到它與文件中任意 token 的最高相似度,再將這些最大值相加。
公式為:
$$\text{MaxSim}(Q, D) = \sum_{Q_i \in Q} \max_{D_j \in D} Q_i \cdot D_j$$
由於 token 嵌入經過 L2 歸一化,每個點積即餘弦相似度,最終得分範圍為 $[-n, n]$,其中 $n$ 為查詢 token 數量。
該運算子可視為一種軟對齊:每個查詢 token 指向文件中最能解釋它的 token,得分反映文件對查詢的整體支援程度。
這種對齊不必是詞法層面的。例如使用 lightonai/mLateOn 模型,對查詢“Where do penguins live?”和“Penguins inhabit Antarctica.”進行編碼時,查詢 token “live” 與 “inhabit” 的匹配相似度高達 0.94,儘管兩個詞沒有共同字元。這正是傳統 BM25 等詞法檢索無法做到的,而多向量模型在保留精確匹配能力的同時,也能處理同義詞和改寫。
與單一向量模型不同,重要精確匹配(如產品程式碼、姓氏、函式名)不會被平均化處理。多個查詢 token 也可能指向同一個文件 token。
優勢與代價
多向量模型能顯著提升檢索質量,尤其在以下場景:文件中某一特定片段決定相關性、多條件查詢(每個條件可找到各自證據)、以及分佈外資料(稠密模型的壓縮可能丟棄了生產環境中需要的資訊)。
稠密模型的單一向量壓縮是從訓練查詢中學習得到的,模型傾向於保留訓練查詢所需的資訊而丟棄其他內容,這可能恰好丟棄生產查詢所依賴的關鍵細節。
優勢的代價是索引體積更大,因為需要為每個文件儲存多個向量。文章後續還將介紹如何載入不同格式檢查點、編碼與評分、整合到搜尋系統中、在頁面影象上直接執行模型(無需 OCR)以及如何保持索引體積可控等內容。
所有示例均可在執行 `pip install -U sentence-transformers` 後直接執行。該更新使 Sentence Transformers 能夠統一支援稠密、稀疏、重排序和多向量四種模型型別,並已在視覺文件檢索領域達到當前最佳水平。