闲社服务运行正常AI智能体自动化平台
分享到
资讯 /

Hugging Face介绍ProvenanceGuard:为MCP智能体核验“事实来自哪一个来源” ...

资讯 2026-10-6 09:05 10778人浏览 0人回复
原作者: Antonio Tiene、Ander Alvarez Sanz、Oliver Wirjadi、Alessandro Genuardi(Multiverse Computing CAI) 来自: Hugging Face Blog(Multiverse Computing CAI团队) 收藏 邀请
摘要

Hugging Face于2026年9月29日介绍ProvenanceGuard:保留MCP工具来源ID,逐条核验声明与其所指来源是否一致,减少多工具智能体的跨来源错误归因。医疗智能体测试中捕获了139条不应放行声明中的138条,但相似来源精确 ...

事件概述:Hugging Face 团队文章于 2026 年 9 月 29 日介绍 ProvenanceGuard,一种面向基于模型上下文协议(MCP)智能体的来源感知事实核验方案。它针对多工具调用时的“跨来源混淆”:答案中的说法虽然能在工具输出集合里找到,却把事实错误归给了另一个来源。

对象与开发者:ProvenanceGuard 由 Multiverse Computing CAI 团队的 Antonio Tiene、Ander Alvarez Sanz、Oliver Wirjadi 和 Alessandro Genuardi 等介绍,配套论文题为《ProvenanceGuard: Source-Aware Factuality Verification for MCP-Based LLM Agents》。

官方发布日期:Hugging Face Team Article 标注发布于 2026 年 9 月 29 日。

关键能力与改动:系统保留每个 MCP 工具输出及来源 ID,不把证据合并成匿名上下文;生成答案后依次拆分声明、寻找相关来源、检查来源是否支持声明、核对答案明示或暗示的来源是否一致,并输出逐条来源判定及整篇答案的允许/拦截结果。对于被拦截的答案,还可用 RARR 风格流程修订后再次核验。文章披露的医疗智能体测试包含 281 条真实轨迹、40 个答案和 361 条由专家检查的声明;139 条不应放行的声明中,系统捕获 138 条;在可识别来源的测试中,正确选中来源约 86%。

适用对象:需要把企业数据库、患者记录、政策文档等多类工具结果接入 MCP 智能体的开发团队,尤其适合数据敏感、需要审计来源归属的客服、医疗、金融和企业知识场景。

实际影响与限制:该方法把“有证据支持”升级为“由答案所指来源支持”,有助于在发布前发现错误归因。报告结果来自本地配置(MiniLM 相关性检索、DeBERTa NLI 核验及本地语言模型),并非所有部署的固定要求;面对相似来源时精确识别来源的准确率约为 50.3%,保守策略还会把一部分本可通过的声明送去复核或修订,因此需要结合自身工具链重新校准,不能把论文指标直接当成生产保证。

官方来源:https://huggingface.co/blog/MultiverseComputingCAI/getting-the-source-right-not-just-the-fact-source

7*24新情报
技术文章
推荐课程
返回顶部