|
事件概述:Hugging Face团队文章于2026年9月29日介绍ProvenanceGuard,一种面向基于模型上下文协议(MCP)智能体的来源感知事实核验方案。它针对多工具调用时的“跨来源混淆”:答案中的说法虽然能在工具输出集合里找到,却把事实错误归给了另一个来源。
对象与开发者:ProvenanceGuard由Multiverse Computing CAI团队的Antonio Tiene、Ander Alvarez Sanz、Oliver Wirjadi和Alessandro Genuardi等介绍,配套论文题为《ProvenanceGuard: Source-Aware Factuality Verification for MCP-Based LLM Agents》。
官方发布日期:Hugging Face Team Article标注发布于2026年9月29日。
关键能力与改动:系统保留每个MCP工具输出及来源ID,不把证据合并成匿名上下文;生成答案后依次拆分声明、寻找相关来源、检查来源是否支持声明、核对答案明示或暗示的来源是否一致,并输出逐条来源判定及整篇答案的允许/拦截结果。对于被拦截的答案,还可用RARR风格流程修订后再次核验。文章披露的医疗智能体测试包含281条真实轨迹、40个答案和361条由专家检查的声明;139条不应放行的声明中,系统捕获138条;在可识别来源的测试中,正确选中来源约86%。
适用对象:需要把企业数据库、患者记录、政策文档等多类工具结果接入MCP智能体的开发团队,尤其适合数据敏感、需要审计来源归属的客服、医疗、金融和企业知识场景。
实际影响与限制:该方法把“有证据支持”升级为“由答案所指来源支持”,有助于在发布前发现错误归因。报告结果来自本地配置(MiniLM相关性检索、DeBERTa NLI核验及本地语言模型),并非所有部署的固定要求;面对相似来源时精确识别来源的准确率约为50.3%,保守策略还会把一部分本可通过的声明送去复核或修订,因此需要结合自身工具链重新校准,不能把论文指标直接当成生产保证。
官方来源:https://huggingface.co/blog/MultiverseComputingCAI/getting-the-source-right-not-just-the-fact-source |
0