|
Anthropic 于11月2日发布 FlashProve，一套用于验证大语言模型推理来源的开源研究原型。思路是先对一组模型权重作承诺（类似固定一个不可随意替换的指纹），再为每次回答生成密码学证明：持有承诺、提示词和输出的人，可以在不获取模型权重的情况下核验这些 token 是否由对应模型产生。这可能用于发现服务端偷偷换模型或输出链路被篡改，也可供独立评测者检查实际被测模型。
作者以 4000 亿参数的 Llama 4 Maverick 混合专家模型、4-bit 量化版本做演示：单张 H100 生成证明约每秒 110 tokens，每个 1,024-token 请求的证明约 19 MB；客户端无需 GPU，使用 24 线程 CPU 验证一份证明约需 17 秒。作者同时指出，证明生成的 GPU 时间约为普通 vLLM 推理的 70 至 95 倍，因此当前仍是研究原型，证明开销不小。
适用范围也有限：目前证明的是整数化模型在贪心解码下的输出；权重可隐藏，但模型架构不会隐藏；论文、快速执行代码和 Lean 形式化实现之间也尚无完整一致性保证。它展示了 AI 服务可验证性的一条研究路径，距离通用、低成本的生产部署还有工作要做。
官方研究：[Progress on provable inference for large language models](https://www.anthropic.com/research/provable-inference) |
0