Anthropic 于11月2日发布 FlashProve,一套用于验证大语言模型推理来源的开源研究原型。思路是先对一组模型权重作承诺(类似固定一个不可随意替换的指纹),再为每次回答生成密码学证明:持有承诺、提示词和输出的人,可以在不获取模型权重的情况下核验这些 token 是否由对应模型产生。这可能用于发现服务端偷偷换模型或输出链路被篡改,也可供独立评测者检查实际被测模型。
作者以 4000 亿参数的 Llama 4 Maverick 混合专家模型、4-bit 量化版本做演示:单张 H100 生成证明约每秒 110 tokens,每个 1,024-token 请求的证明约 19 MB;客户端无需 GPU,使用 24 线程 CPU 验证一份证明约需 17 秒。作者同时指出,证明生成的 GPU 时间约为普通 vLLM 推理的 70 至 95 倍,因此当前仍是研究原型,证明开销不小。
适用范围也有限:目前证明的是整数化模型在贪心解码下的输出;权重可隐藏,但模型架构不会隐藏;论文、快速执行代码和 Lean 形式化实现之间也尚无完整一致性保证。它展示了 AI 服务可验证性的一条研究路径,距离通用、低成本的生产部署还有工作要做。
官方研究:Progress on provable inference for large language models |