闲社

标题: 【工作流】技能行为回归核验工作流 [打印本页]

作者: admin 时间: 1 小时前
标题: 【工作流】技能行为回归核验工作流
[md]
# 技能行为回归核验工作流

## 套餐描述

整理技能测试夹具，核对可观察行为并比较基线回归，在新失败出现时生成不自动推广的人工门禁。

## 详细介绍

# 技能行为回归核验工作流

**3个实用技能 · 3步完成 · 每一步都能单独使用**

把技能从“文件结构看起来正常”推进到“行为变化有证据”：先整理脱敏测试用例和可观察预期，再核对运行观察结果，最后对比基线并阻止新回归自动推广。套餐默认离线处理 JSON，不调用模型、不连接 CI、不消耗 API 额度。

3个可下载技能 · 每个技能可单独运行

## 3步自动化工作流

### 🔵 1 技能测试用例整理

技能文件：`skill-testcase-normalizer`

**解决什么：** 技能测试常把“应该表现良好”写成无法验证的描述，或因夹具、用例 ID 和负向场景不统一而无法重跑。

**你会得到：** READY/REVIEW、规范化 case_id、技能名、提示、脱敏夹具引用、可观察 expect、负向用例和 fixture_hash。

**↓ 本步结果自动进入下一步**

### 🟢 2 技能行为断言核验

技能文件：`skill-behavior-assertion-runner`

**解决什么：** 一次运行“看起来没问题”不等于技能真的触发、产生正确文件变化或遵守动作边界；缺失观测也不能被误判为通过。

**你会得到：** 每条断言的 PASS/FAIL/UNKNOWN、用例总状态、失败原因、model_calls=0、remote_execution=false 和 assertion_hash。

**↓ 本步结果自动进入下一步**

### 🟠 3 技能回归门禁

技能文件：`skill-regression-gate`

**解决什么：** 技能说明、脚本、模型或运行时更新后，旧用例可能从通过变成失败；需要把新回归与普通状态变化分开，并在推广前留下人工决策点。

**你会得到：** READY/REVIEW/BLOCKED、新回归列表、human_decision=PENDING、promote=false 和 regression_hash；这是最终交付。

## 实际示例

脱敏样例包含一个发票审阅技能的正向场景和负向场景：第一步整理“触发成功、无文件副作用、输出 READY”和“必须人工审批、payment_action=NONE”等预期；第二步用脱敏 observations 做逐项核对；第三步将当前一次结果中的 PASS 变为 FAIL，识别为新回归并输出 BLOCKED。示例只验证数据结构和分支，不代表真实模型效果。

## 适合谁

维护 Agent Skills、Claude Code Skills、内部智能体技能包的开发者；需要在修改 SKILL.md、脚本、模型或运行时后，用可重复夹具检查行为是否仍符合预期的团队。

## 买家只需提供

- 脱敏的技能测试用例、触发提示、夹具引用和可观察 expect
- 一次或多次运行后的脱敏 observations，不包含原始客户内容、密钥或真实工具参数
- 认可的失败、人工复核、文件变化和动作边界规则
- 可作为比较起点的基线断言报告及回归门禁策略

## 使用方式

1. 使用 Python 3.10 或更高版本，把测试用例、观察结果和基线写成 UTF-8 JSON。
2. 依次运行用例整理、行为断言和回归门禁，也可以单独运行任一步。
3. 在真实模型或 CI 环境中自行生成脱敏 observations，再由负责人查看回归列表和人工放行状态；本套餐不替你调用模型或推广版本。

## 交付与验收

- 三个独立技能目录，每个包含元数据、技能说明、执行器、文档和脱敏样例。
- 三步可重复运行：用例整理、行为断言、基线回归门禁；每个技能也能单独使用。
- 缺字段、重复用例、空预期、缺失观测、断言失败、状态变化和新回归均有明确分支。
- 正向样例通过，负向样例保留人工边界；基线 PASS 到当前 FAIL 时门禁输出 BLOCKED、PENDING 且 promote=false。

## 服务说明

脚本只处理买家有权使用且已经脱敏的本地 JSON，不连接模型、CI、仓库或业务系统，不读取 token、不执行工具调用、不自动修改技能或推广版本。离线断言不能代表完整模型评测、跨模型稳定性、提示注入测试或生产可用性。套餐不包含模型额度、CI 配置、云端运行、人工标注、持续监控、代码审查或结果保证。

## 套餐图标

## 包含技能

- [skill-behavior-assertion-runner
](https://www.xianshe.com/plugin.php?id=hl_skillhub&mod=detail&slug=skill-behavior-assertion-runner)
- [skill-regression-gate
](https://www.xianshe.com/plugin.php?id=hl_skillhub&mod=detail&slug=skill-regression-gate)
- [skill-testcase-normalizer
](https://www.xianshe.com/plugin.php?id=hl_skillhub&mod=detail&slug=skill-testcase-normalizer)

## 安装方式

此套餐为**付费套餐**，购买后可一键下载全部技能。

🛒 [点击购买并下载技能行为回归核验工作流](https://www.xianshe.com/plugin.php?id=hl_skillhub&mod=buy&bundle_id=494)

## 收费方式

💴 **现金购买** - 需要支付 ¥198.00

## 前往安装

**[👉 点击前往套餐安装页面](https://www.xianshe.com/plugin.php?id=hl_skillhub&mod=bundle&ac=detail&slug=skill-testcase-normalizer-99cd253146ba)**
[/md]

欢迎光临闲社 (https://www.xianshe.com/)