智能体技能评估失败分类核验工作流

区分技能评估中的合法断言与崩溃、超时、API错误，阻止基础设施异常制造假通过。

AI智能体与自动化

技能数量

19,501
下载量

                    ¥187.00                                    
参考价 · 登录确认

15,034
销量

购买前，先确认这些

我的已购工作流

以下摘录自发布者现有说明，不代表平台已完成运行验证。完整交付范围、限制与验收要求请继续阅读原文。

交付内容

三个独立技能目录，每个包含元数据、技能说明、标准库执行器、文档和脱敏样例。三步可重复运行：结果归一、失败分类、人工评估门禁；每个技能也能单独使用。缺 run_id、outcome、错误证据，或发现 crash/timeout/api_error 时，输出明确 REVIEW/BLOCKED 分支，并避免把异常计入合法断言得分。正常样例输出 READY_FOR_HUMAN_EVAL_FAILURE_REVIEW，并保留 PENDING、optimizer_execute=false、rerun_execute=false 和 external_action_executed=false；错误样例不会触发评估或优化动作。

需要准备

脱敏的 suite_ref、case_id、query、should_trigger 和 outcome 每条用例的 run_id，以及错误、超时、API 或 stderr 引用基线引用、重跑引用和人工负责人引用不提供 API key、Cookie、原始提示词、模型响应、客户数据或业务载荷

运行与安装说明

使用 Python 3.10 或更高版本，把评估运行摘要写成 UTF-8 JSON；错误引用只写脱敏编号。依次运行结果归一、失败分类和人工门禁，也可以单独运行任一步。由负责人修复评估基础设施、决定是否重跑或更新基线；套餐不会调用模型、修改描述或启动优化器。

费用、服务与边界

脚本只处理买家有权使用且已经脱敏的本地 JSON，不连接模型、评估器、CI、网络或数据库，不读取凭据，不运行测试，不修改技能描述，不改变基线。静态分类不能证明评估器实现正确、模型输出真实或技能应当发布；分类依赖买家提供的 outcome、run_id 和错误证据。套餐不包含模型调用、评估框架接入、CI 配置、描述优化、生产部署或持续监控。

安装准备与故障排查确认材料、运行环境与额外费用后再购买。阅读完整说明

工作流详情

# 智能体技能评估失败分类核验工作流

**3个实用技能 · 3步完成 · 每一步都能单独使用**

把评估器的“未触发”和“运行失败”分开：先整理每条用例的期望、观察结果、运行身份和错误证据，再分类合法断言与基础设施异常，最后生成等待负责人决定的人工门禁。套餐只处理脱敏评估摘要，不调用模型、不运行评估、不修改技能描述。

3个可下载技能 · 每个技能可单独运行

## 3步自动化工作流

### 🔵 1 智能体技能评估结果归一

技能文件：`agent-skill-eval-outcome-normalizer`

**解决什么：** 评估输出常把触发、未触发、断言失败、超时、API 错误和进程崩溃混在同一布尔字段中，无法判断通过率是否可信。

**你会得到：** READY/REVIEW、规范化用例、基础设施异常数量、运行引用和 `eval_outcome_snapshot_hash`。

**↓ 本步结果自动进入下一步**

### 🟢 2 智能体技能评估失败分类

技能文件：`agent-skill-eval-failure-classifier`

**解决什么：** 负向用例发生崩溃时，错误结果可能被计成“未触发”，从而制造假通过并误导描述优化器。

**你会得到：** PASS/REVIEW/BLOCKED、逐例 VALID_PASS/VALID_FAIL/INFRA_ERROR 分类、可计分用例数量、`infra_error_count` 和 `false_pass_guard`。

**↓ 本步结果自动进入下一步**

### 🟠 3 智能体技能评估失败人工门禁

技能文件：`agent-skill-eval-failure-gate`

**解决什么：** 分类结果通过不等于可以自动改描述、继续优化或重跑；负责人还需要确认基线、异常处置和重跑范围。

**你会得到：** READY_FOR_HUMAN_EVAL_FAILURE_REVIEW/HOLD、`human_decision=PENDING`、`optimizer_execute=false`、`rerun_execute=false` 和 `external_action_executed=false`；这是最终交付。

## 实际示例

脱敏样例包含一个应触发且实际触发的正向用例、一个应不触发且实际未触发的负向用例。第一步固定用例与运行身份，第二步输出两个 VALID_PASS，第三步生成待人工复核包。将负向用例 outcome 改为 timeout、crashed 或 api_error 并提供 stderr_ref，会输出 INFRA_ERROR；它不会进入通过率或优化器。样例只验证离线字段，不代表真实技能质量或模型行为。

## 适合谁

- 维护 Agent Skills 触发评估、功能评估或描述优化器的工程团队
- 需要把 CI 运行失败与模型/技能断言失败分开的 QA 团队
- 负责技能版本、基线、回归和发布门禁的开发者
- 在自动优化技能描述前，需要证明评估数据没有被基础设施异常污染的团队

## 买家只需提供

- 脱敏的 suite_ref、case_id、query、should_trigger 和 outcome
- 每条用例的 run_id，以及错误、超时、API 或 stderr 引用
- 基线引用、重跑引用和人工负责人引用
- 不提供 API key、Cookie、原始提示词、模型响应、客户数据或业务载荷

## 使用方式

1. 使用 Python 3.10 或更高版本，把评估运行摘要写成 UTF-8 JSON；错误引用只写脱敏编号。
2. 依次运行结果归一、失败分类和人工门禁，也可以单独运行任一步。
3. 由负责人修复评估基础设施、决定是否重跑或更新基线；套餐不会调用模型、修改描述或启动优化器。

## 交付与验收

- 三个独立技能目录，每个包含元数据、技能说明、标准库执行器、文档和脱敏样例。
- 三步可重复运行：结果归一、失败分类、人工评估门禁；每个技能也能单独使用。
- 缺 run_id、outcome、错误证据，或发现 crash/timeout/api_error 时，输出明确 REVIEW/BLOCKED 分支，并避免把异常计入合法断言得分。
- 正常样例输出 READY_FOR_HUMAN_EVAL_FAILURE_REVIEW，并保留 PENDING、optimizer_execute=false、rerun_execute=false 和 external_action_executed=false；错误样例不会触发评估或优化动作。

## 服务说明

包含技能

以下为套餐组成，实际执行顺序请按上方工作流说明。安装所需环境、账号与外部服务费用请在购买前确认。

智能体技能评估失败分类 agent-skill-eval-failure-classifier

识别错误、超时和崩溃并把它们排除出通过率与描述优化器输入输入为脱敏的本地技能评估运行摘要，输出结构化核验结果。

智能体技能评估失败人工门禁 agent-skill-eval-failure-gate

汇总基础设施失败分类并生成不自动优化或重跑的人工复核包输入为脱敏的本地技能评估运行摘要，输出结构化核验结果。

智能体技能评估结果归一 agent-skill-eval-outcome-normalizer

固定每条评估用例的期望、观察结果、运行身份和基础设施状态输入为脱敏的本地技能评估运行摘要，输出结构化核验结果。