智能体技能评估失败分类核验工作流

智能体技能评估失败分类核验工作流

3个实用技能 · 3步完成 · 每一步都能单独使用

把评估器的“未触发”和“运行失败”分开：先整理每条用例的期望、观察结果、运行身份和错误证据，再分类合法断言与基础设施异常，最后生成等待负责人决定的人工门禁。套餐只处理脱敏评估摘要，不调用模型、不运行评估、不修改技能描述。

3个可下载技能 · 每个技能可单独运行

3步自动化工作流

🔵 1 智能体技能评估结果归一

技能文件：agent-skill-eval-outcome-normalizer

解决什么： 评估输出常把触发、未触发、断言失败、超时、API 错误和进程崩溃混在同一布尔字段中，无法判断通过率是否可信。

What you get: READY/REVIEW、规范化用例、基础设施异常数量、运行引用和 eval_outcome_snapshot_hash。

↓ 本步结果自动进入下一步

🟢 2 智能体技能评估失败分类

技能文件：agent-skill-eval-failure-classifier

解决什么： 负向用例发生崩溃时，错误结果可能被计成“未触发”，从而制造假通过并误导描述优化器。

What you get: PASS/REVIEW/BLOCKED、逐例 VALID_PASS/VALID_FAIL/INFRA_ERROR 分类、可计分用例数量、infra_error_count 和 false_pass_guard。

↓ 本步结果自动进入下一步

🟠 3 智能体技能评估失败人工门禁

技能文件：agent-skill-eval-failure-gate

解决什么： 分类结果通过不等于可以自动改描述、继续优化或重跑；负责人还需要确认基线、异常处置和重跑范围。

What you get: READY_FOR_HUMAN_EVAL_FAILURE_REVIEW/HOLD、human_decision=PENDING、optimizer_execute=false、rerun_execute=false 和 external_action_executed=false；这是最终交付。

实际示例

脱敏样例包含一个应触发且实际触发的正向用例、一个应不触发且实际未触发的负向用例。第一步固定用例与运行身份，第二步输出两个 VALID_PASS，第三步生成待人工复核包。将负向用例 outcome 改为 timeout、crashed 或 api_error 并提供 stderr_ref，会输出 INFRA_ERROR；它不会进入通过率或优化器。样例只验证离线字段，不代表真实技能质量或模型行为。

适合谁

• 维护 Agent Skills 触发评估、功能评估或描述优化器的工程团队

• 需要把 CI 运行失败与模型/技能断言失败分开的 QA 团队

• 负责技能版本、基线、回归和发布门禁的开发者

• 在自动优化技能描述前，需要证明评估数据没有被基础设施异常污染的团队

买家只需提供

• 脱敏的 suite_ref、case_id、query、should_trigger 和 outcome

• 每条用例的 run_id，以及错误、超时、API 或 stderr 引用

• 基线引用、重跑引用和人工负责人引用

• 不提供 API key、Cookie、原始提示词、模型响应、客户数据或业务载荷

使用方式

1. 使用 Python 3.10 或更高版本，把评估运行摘要写成 UTF-8 JSON；错误引用只写脱敏编号。

2. 依次运行结果归一、失败分类和人工门禁，也可以单独运行任一步。

3. 由负责人修复评估基础设施、决定是否重跑或更新基线；套餐不会调用模型、修改描述或启动优化器。

交付与验收

• 三个独立技能目录，每个包含元数据、技能说明、标准库执行器、文档和脱敏样例。

• 三步可重复运行：结果归一、失败分类、人工评估门禁；每个技能也能单独使用。

• 缺 run_id、outcome、错误证据，或发现 crash/timeout/api_error 时，输出明确 REVIEW/BLOCKED 分支，并避免把异常计入合法断言得分。

• 正常样例输出 READY_FOR_HUMAN_EVAL_FAILURE_REVIEW，并保留 PENDING、optimizer_execute=false、rerun_execute=false 和 external_action_executed=false；错误样例不会触发评估或优化动作。

服务说明

脚本只处理买家有权使用且已经脱敏的本地 JSON，不连接模型、评估器、CI、网络或数据库，不读取凭据，不运行测试，不修改技能描述，不改变基线。静态分类不能证明评估器实现正确、模型输出真实或技能应当发布；分类依赖买家提供的 outcome、run_id 和错误证据。套餐不包含模型调用、评估框架接入、CI 配置、描述优化、生产部署或持续监控。