MCP代理的来源感知验证:不仅要事实正确,更要来源正确

2026-10-02 · Hugging Face

MCP代理的来源感知验证:不仅要事实正确,更要来源正确

背景与挑战

随着大语言模型(LLM)代理的不断发展,它们不再仅从单一检索段落中读取信息。通过模型上下文协议(MCP),代理可以调用搜索工具、检查结构化记录、查询数据库并提取元数据,最终将这些信息整合为一个答案。

然而,这使得事实性检查变得更加复杂。现有的多数验证系统(如RAGAS、MiniCheck、AlignScore和SummaC等)在检查LLM回答时,通常是在所有证据被合并到一起后,判断声明是否得到支持。它们无法指出是哪个MCP工具的输出支持了该声明,也无法验证该来源是否与回答中提及的来源一致。

跨源混淆问题

Multiverse Computing团队在其最新论文《ProvenanceGuard: Source-Aware Factuality Verification for MCP-Based LLM Agents》中,针对这一空白提出了解决方案。他们关注的核心失败模式被称为跨源混淆(cross-source conflation):一个声明在证据池中是真实的,但被归因于错误的来源。

例如,一个客户支持代理回答:“根据账户记录,该计划包含30天退款窗口。”退款窗口可能是真实的,但它实际上出现在政策文件中,而非回答所指的账户记录中。将两者合并后,该声明看似得到了支持,但分开来看,其归属是错误的。在数据敏感的环境中,错误的归因可能与错误的事实一样具有破坏性。同样的问题也会出现在临床代理中,例如将患者病史工具中的用药细节呈现为医学文献的发现。

ProvenanceGuard的工作原理

ProvenanceGuard是一个位于黑盒MCP代理之上的生成后验证层。它在代理生成答案后运行,且绝不会将证据折叠为一个匿名的上下文,而是全程保留来源身份。它读取捕获的MCP跟踪记录(包括工具输出和来源ID),无需重新训练代理。其工作流程包括以下五个步骤:

1. 声明分解:将答案分解为具体的声明。

2. 来源路由:利用MiniLM模型找到与每个声明最相关的来源。

3. 支持度评分:使用DeBERTa NLI验证模型检查该来源是否真正支持该声明。

4. 归属检查:将实际支持来源与回答中明确指出或暗示的来源进行比较。

5. 决策输出:发出逐条声明的来源裁决,以及全局的答案级允许或阻止决定。

此外,验证器还会严格检查字面值:如果来源中缺少某个数字、日期或标识符,仅因为句子听起来合理也无法通过。如果答案被阻止,系统会通过RARR风格的修复步骤尝试基于来源的修订或安全回退,并再次进行验证。

实验结果

研究团队在一个使用了患者记录、研究文章和其他工具的医疗代理上测试了ProvenanceGuard,共收集了281条真实跟踪记录。医疗领域是一个理想的测试场景,因为患者记录中的事实和一般研究中的事实不能被视为同一来源。

在主要测试中,人类专家对40个答案中的361个声明进行了检查。结果如下:

  • 专家认为有139个声明不应通过,ProvenanceGuard成功拦截了其中的138个,仅漏掉1个。
  • 它还拦截了67个专家认为受支持的声明,将其发送以供审查或修复。这反映了其保守的测试设置:宁可对一些受支持的声明进行二次审查,也不让不受支持的声明漏网。
  • 对于具有可识别来源的声明,ProvenanceGuard在约86%的情况下选择了正确的来源。

这种保守的决策策略非常适合数据敏感的审查场景,在这些场景中,确保来源正确的优先级高于生成最快答案的优先级。

原文链接