技能行为回归核验工作流

技能行为回归核验工作流

3个实用技能 · 3步完成 · 每一步都能单独使用

把技能从“文件结构看起来正常”推进到“行为变化有证据”：先整理脱敏测试用例和可观察预期，再核对运行观察结果，最后对比基线并阻止新回归自动推广。套餐默认离线处理 JSON，不调用模型、不连接 CI、不消耗 API 额度。

3个可下载技能 · 每个技能可单独运行

3步自动化工作流

🔵 1 技能测试用例整理

技能文件：skill-testcase-normalizer

解决什么： 技能测试常把“应该表现良好”写成无法验证的描述，或因夹具、用例 ID 和负向场景不统一而无法重跑。

What you get: READY/REVIEW、规范化 case_id、技能名、提示、脱敏夹具引用、可观察 expect、负向用例和 fixture_hash。

↓ 本步结果自动进入下一步

🟢 2 技能行为断言核验

技能文件：skill-behavior-assertion-runner

解决什么： 一次运行“看起来没问题”不等于技能真的触发、产生正确文件变化或遵守动作边界；缺失观测也不能被误判为通过。

What you get: 每条断言的 PASS/FAIL/UNKNOWN、用例总状态、失败原因、model_calls=0、remote_execution=false 和 assertion_hash。

↓ 本步结果自动进入下一步

🟠 3 技能回归门禁

技能文件：skill-regression-gate

解决什么： 技能说明、脚本、模型或运行时更新后，旧用例可能从通过变成失败；需要把新回归与普通状态变化分开，并在推广前留下人工决策点。

What you get: READY/REVIEW/BLOCKED、新回归列表、human_decision=PENDING、promote=false 和 regression_hash；这是最终交付。

实际示例

脱敏样例包含一个发票审阅技能的正向场景和负向场景：第一步整理“触发成功、无文件副作用、输出 READY”和“必须人工审批、payment_action=NONE”等预期；第二步用脱敏 observations 做逐项核对；第三步将当前一次结果中的 PASS 变为 FAIL，识别为新回归并输出 BLOCKED。示例只验证数据结构和分支，不代表真实模型效果。

适合谁

维护 Agent Skills、Claude Code Skills、内部智能体技能包的开发者；需要在修改 SKILL.md、脚本、模型或运行时后，用可重复夹具检查行为是否仍符合预期的团队。

买家只需提供

• 脱敏的技能测试用例、触发提示、夹具引用和可观察 expect

• 一次或多次运行后的脱敏 observations，不包含原始客户内容、密钥或真实工具参数

• 认可的失败、人工复核、文件变化和动作边界规则

• 可作为比较起点的基线断言报告及回归门禁策略

使用方式

1. 使用 Python 3.10 或更高版本，把测试用例、观察结果和基线写成 UTF-8 JSON。

2. 依次运行用例整理、行为断言和回归门禁，也可以单独运行任一步。

3. 在真实模型或 CI 环境中自行生成脱敏 observations，再由负责人查看回归列表和人工放行状态；本套餐不替你调用模型或推广版本。

交付与验收

• 三个独立技能目录，每个包含元数据、技能说明、执行器、文档和脱敏样例。

• 三步可重复运行：用例整理、行为断言、基线回归门禁；每个技能也能单独使用。

• 缺字段、重复用例、空预期、缺失观测、断言失败、状态变化和新回归均有明确分支。

• 正向样例通过，负向样例保留人工边界；基线 PASS 到当前 FAIL 时门禁输出 BLOCKED、PENDING 且 promote=false。

服务说明

脚本只处理买家有权使用且已经脱敏的本地 JSON，不连接模型、CI、仓库或业务系统，不读取 token、不执行工具调用、不自动修改技能或推广版本。离线断言不能代表完整模型评测、跨模型稳定性、提示注入测试或生产可用性。套餐不包含模型额度、CI 配置、云端运行、人工标注、持续监控、代码审查或结果保证。