MCP代理的來源感知驗證:不僅要事實正確,更要來源正確
2026-10-02 · Hugging Face
MCP代理的來源感知驗證:不僅要事實正確,更要來源正確
背景與挑戰
隨著大語言模型(LLM)代理的不斷發展,它們不再僅從單一檢索段落中讀取資訊。透過模型上下文協議(MCP),代理可以呼叫搜尋工具、檢查結構化記錄、查詢資料庫並提取後設資料,最終將這些資訊整合為一個答案。
然而,這使得事實性檢查變得更加複雜。現有的多數驗證系統(如RAGAS、MiniCheck、AlignScore和SummaC等)在檢查LLM回答時,通常是在所有證據被合併到一起後,判斷宣告是否得到支援。它們無法指出是哪個MCP工具的輸出支援了該宣告,也無法驗證該來源是否與回答中提及的來源一致。
跨源混淆問題
Multiverse Computing團隊在其最新論文《ProvenanceGuard: Source-Aware Factuality Verification for MCP-Based LLM Agents》中,針對這一空白提出瞭解決方案。他們關注的核心失敗模式被稱為跨源混淆(cross-source conflation):一個宣告在證據池中是真實的,但被歸因於錯誤的來源。
例如,一個客戶支援代理回答:“根據賬戶記錄,該計劃包含30天退款視窗。”退款視窗可能是真實的,但它實際上出現在政策檔案中,而非回答所指的賬戶記錄中。將兩者合併後,該宣告看似得到了支援,但分開來看,其歸屬是錯誤的。在資料敏感的環境中,錯誤的歸因可能與錯誤的事實一樣具有破壞性。同樣的問題也會出現在臨床代理中,例如將患者病史工具中的用藥細節呈現為醫學文獻的發現。
ProvenanceGuard的工作原理
ProvenanceGuard是一個位於黑盒MCP代理之上的生成後驗證層。它在代理生成答案後執行,且絕不會將證據摺疊為一個匿名的上下文,而是全程保留來源身份。它讀取捕獲的MCP跟蹤記錄(包括工具輸出和來源ID),無需重新訓練代理。其工作流程包括以下五個步驟:
1. 宣告分解:將答案分解為具體的宣告。
2. 來源路由:利用MiniLM模型找到與每個宣告最相關的來源。
3. 支援度評分:使用DeBERTa NLI驗證模型檢查該來源是否真正支援該宣告。
4. 歸屬檢查:將實際支援來源與回答中明確指出或暗示的來源進行比較。
5. 決策輸出:發出逐條宣告的來源裁決,以及全域性的答案級允許或阻止決定。
此外,驗證器還會嚴格檢查字面值:如果來源中缺少某個數字、日期或識別符號,僅因為句子聽起來合理也無法透過。如果答案被阻止,系統會透過RARR風格的修復步驟嘗試基於來源的修訂或安全回退,並再次進行驗證。
實驗結果
研究團隊在一個使用了患者記錄、研究文章和其他工具的醫療代理上測試了ProvenanceGuard,共收集了281條真實跟蹤記錄。醫療領域是一個理想的測試場景,因為患者記錄中的事實和一般研究中的事實不能被視為同一來源。
在主要測試中,人類專家對40個答案中的361個宣告進行了檢查。結果如下:
- 專家認為有139個宣告不應透過,ProvenanceGuard成功攔截了其中的138個,僅漏掉1個。
- 它還攔截了67個專家認為受支援的宣告,將其傳送以供審查或修復。這反映了其保守的測試設定:寧可對一些受支援的宣告進行二次審查,也不讓不受支援的宣告漏網。
- 對於具有可識別來源的宣告,ProvenanceGuard在約86%的情況下選擇了正確的來源。
這種保守的決策策略非常適合資料敏感的審查場景,在這些場景中,確保來源正確的優先順序高於生成最快答案的優先順序。