微软与Hugging Face于2026年10月3日发布ThinkingBox与ThinkingBox-Bench,用终态数据库和副作用检查AI代理是否真正完成业务任务,并在同一任务上重复20次衡量稳定性。基准覆盖507个有状态工作流,公开代码、数据和Op ...
|
事件概述:微软与 Hugging Face 于 2026 年 10 月 3 日在 Hugging Face 官方博客介绍 ThinkingBox,并开放评测环境与 ThinkingBox-Bench。它不只看代理说了什么或调用了哪些工具,而是检查任务结束后数据库记录和副作用是否达到要求,并重复运行同一任务来观察可靠性。 发布方与对象:项目由微软 Copilot Studio 团队与 Hugging Face 合作,协作者来自 Toloka 及多所大学。ThinkingBox 面向需要评估客服、零售、保险、旅行、咨询等有状态业务流程的 AI 代理开发者、平台团队和安全评测人员。 关键能力与改动:基准包含 507 个有状态业务工作流,每个任务在独立的 MCP 工具会话中运行 20 次;评测器根据终态数据库、所需副作用和必要的语义响应进行确定性检查,而不是把一条成功回复当成完成。微软报告称,在 12 个模型的 121,680 次有效试验中,约四分之三失败了可执行检查,其中 67.24% 的失败仍然正常结束、调用过状态变更工具且没有报告最终工具错误。ThinkingBox 还区分 pass@1、pass@20 和 Observed 20/20,帮助团队分别衡量单次成功、至少成功一次和 20 次都成功。项目通过 OpenEnv 提供可复现接口,公开了代码、数据和运行步骤。 适用对象:要验证代理是否正确修改业务记录、是否产生额外副作用,或需要比较模型在重复执行中稳定性的企业 AI 团队、评测研究者和平台工程师。 实际影响与限制:ThinkingBox 把“工具调用轨迹”与“业务终态证据”分开,提醒部署团队在提交前检查真实状态,并针对可恢复的工具错误设计重试和人工审批。公开基准中的客户与流程是合成重建,不是真实客户;复现实验还依赖固定版本的 OpenEnv、数据、模型端点和本地服务,公开分数不等于生产成功率。评测也不能替代企业自己的权限、数据和回滚测试。 |
0