智能体技能评估失败分类

适用场景

在评估器输出通过率前，区分合法未触发、合法触发、断言失败和基础设施失败，避免崩溃伪装成负向用例通过。

输入与输出

• - 输入：第一步 snapshot.json，含每条用例的 kind、outcome、shouldtrigger 和 runid
• 输出：PASS/REVIEW/BLOCKED、逐例分类、scoreablecasecount、infraerrorcount 和 falsepassguard

运行

CODEBLOCK0

错误恢复

发现 INFRA_ERROR 时保持 BLOCKED，不将该用例送入分数或优化器；先修复运行环境再重跑。

隐私边界

只处理买家有权使用且已经脱敏的本地 JSON，不连接模型、评估服务、CI、网络或外部 API，不读取凭据、Cookie、原始提示词或业务数据。

验收

使用 examples/input.json 运行，确认输出包含 status、findings、稳定 hash 和不执行标志；再用 crashed、timeout、apierror 或缺 runid 的样例验证 INFRA_ERROR/REVIEW/BLOCKED 分支。