把脱敏生产轨迹转成评估用例,检查行为、权限、重试、成本与可观测性,并生成上线前人工复核包。
以下摘录自发布者现有说明,不代表平台已完成运行验证。完整交付范围、限制与验收要求请继续阅读原文。
交付 4 个独立技能目录,每个包含 _meta.json、SKILL.md、agents/openai.yaml、README、Python 执行器和脱敏样例;根目录另含清单。 4 个脚本可离线重复运行,相同输入产生稳定 JSON;技能数与工作流步数精确为 4,顶层目录 slug 唯一且为小写短横线。 正常输入产生非空 case_set_hash 和 packet_hash;缺约束、缺证据、超权限、重试过多、延迟过高、成本超阈值和追踪缺失都会形成明确结果。 最终门禁保留人工复核、影子模式和变更审批,不会把静态 PASS 解释成上线成功。 不包含平台账号、API Key、OAuth 授权、模型调用、真实生产数据接入、日志采集、权限修改、自动部署、自动回滚、CI 写入或人工实施服务。
已授权且脱敏的生产轨迹、用户反馈和候选输出 业务约束、证据要求、允许的工具权限和运行阈值 人工审批负责人、影子模式规则和回滚引用
使用 Python 3.10 或更高版本,先删除真实用户内容、私有载荷、密钥、Cookie、内部域名和绝对路径。 依次运行用例归一化、行为评估、风险审计和生产门禁,将 JSON 结果作为测试或发布工单附件。 先用正常、缺证据、超权限、重复重试和缺追踪样例验收,再在影子模式或测试环境验证真实运行。
本套餐只处理买家有权使用且已脱敏的用例、输出和运行摘要,不接收密码、Cookie、Token、API Key、真实客户内容或内部机密。静态规则可能漏报或误报,阈值需要由业务负责人定义;通过不等于模型质量、平台稳定性、合规性或生产收益。买家必须自行验证数据留存、第三方调用、人工审批、影子模式、灰度、回滚和版本兼容,不承诺零错误、绝对合规、固定节省比例或经营结果。
4个可下载技能 · 4步自动化工作流 · 每个技能可单独运行
智能体在演示或干净测试集里通过,不代表面对真实用户、脏输入、超时工具、权限边界和多步上下文时仍然稳定。本套餐把脱敏生产轨迹标准化为可复用用例,再做确定性的行为约束检查、运行风险审计和上线前人工门禁,输出用例哈希、逐案结果、风险队列、整改清单与复核包。所有脚本均为标准库 Python 离线执行,不调用模型、不接入平台、不处理密钥、不修改智能体、不自动发布;通过只代表当前脱敏输入满足静态规则。
对应技能: agent-production-case-normalizer
解决什么: 将脱敏生产轨迹、用户反馈和异常记录整理为包含约束、证据要求和观察结果的稳定用例。
你会得到: normalized cases、NEEDS_REVIEW 队列和非空 case_set_hash。
流转到下一步: 归一化用例成为行为检查的输入;缺少约束或证据的记录会保留在复核队列。
对应技能: agent-behavioral-eval-runner
解决什么: 检查候选输出是否满足字数、证据标记和业务约束,区分 PASS、REVIEW 与 BLOCKED。
你会得到: 逐案决策、失败约束、缺失证据和 aggregate score。
流转到下一步: 行为报告与用例覆盖率一起交给运行风险审计;REVIEW 不会被自动当作通过。
对应技能: agent-production-risk-auditor
解决什么: 根据买家阈值检查工具权限、重试次数、延迟、估算成本、追踪可用性和人工交接标记。
你会得到: CLEAR 或 REVIEW、逐次运行风险码和风险数量。
流转到下一步: 风险报告与行为报告交给最终门禁;脚本只报告问题,不改权限、预算、日志或路由。
对应技能: agent-production-readiness-gate
解决什么: 汇总用例、行为和风险报告,在人工审批边界内生成整改队列、影子模式复核事项和稳定 packet_hash。
你会得到: READY_FOR_HUMAN_REVIEW 或 BLOCKED、阻断原因、整改队列、复核事项和复核包哈希。
最终交付: 一份可交给智能体负责人、测试人员或发布工单的生产验收包;真实灰度、权限调整和上线决定仍由买家完成。
随包样例使用两个虚构的客服智能体运行记录。第一步把一个有证据要求的记录标为 USABLE,把缺少约束的记录放入 NEEDS_REVIEW;第二步得到一个 PASS 和一个 REVIEW;第三步发现一次运行存在过高权限、重试、延迟、成本、追踪缺失和无人交接;第四步输出 BLOCKED 与整改队列。样例只验证脱敏结构、规则判断和证据流转,不代表任何真实智能体已经达到生产标准。
已把客服、研究、内部效率或文档智能体推进到试点和生产的团队
需要将真实运行记录转成可复用评估集的 AI 工程师
负责工具权限、超时重试、成本边界、追踪和人工接管的运维人员
需要在上线前留下质量、风险和回滚证据的产品与治理负责人
已授权且脱敏的生产轨迹、用户反馈和候选输出
业务约束、证据要求、允许的工具权限和运行阈值
人工审批负责人、影子模式规则和回滚引用
使用 Python 3.10 或更高版本,先删除真实用户内容、私有载荷、密钥、Cookie、内部域名和绝对路径。
依次运行用例归一化、行为评估、风险审计和生产门禁,将 JSON 结果作为测试或发布工单附件。
先用正常、缺证据、超权限、重复重试和缺追踪样例验收,再在影子模式或测试环境验证真实运行。
交付 4 个独立技能目录,每个包含 _meta.json、SKILL.md、agents/openai.yaml、README、Python 执行器和脱敏样例;根目录另含清单。
4 个脚本可离线重复运行,相同输入产生稳定 JSON;技能数与工作流步数精确为 4,顶层目录 slug 唯一且为小写短横线。
正常输入产生非空 case_set_hash 和 packet_hash;缺约束、缺证据、超权限、重试过多、延迟过高、成本超阈值和追踪缺失都会形成明确结果。
最终门禁保留人工复核、影子模式和变更审批,不会把静态 PASS 解释成上线成功。
不包含平台账号、API Key、OAuth 授权、模型调用、真实生产数据接入、日志采集、权限修改、自动部署、自动回滚、CI 写入或人工实施服务。
本套餐只处理买家有权使用且已脱敏的用例、输出和运行摘要,不接收密码、Cookie、Token、API Key、真实客户内容或内部机密。静态规则可能漏报或误报,阈值需要由业务负责人定义;通过不等于模型质量、平台稳定性、合规性或生产收益。买家必须自行验证数据留存、第三方调用、人工审批、影子模式、灰度、回滚和版本兼容,不承诺零错误、绝对合规、固定节省比例或经营结果。
以下为套餐组成,实际执行顺序请按上方工作流说明。安装所需环境、账号与外部服务费用请在购买前确认。
Score redacted agent outputs against constraints and evidence rubrics.
Turn redacted production traces into repeatable agent evaluation cases.
Combine production eval evidence into a conservative human release decision.
Scan redacted agent traces for authority, retry, latency, cost, and observability risks.