AI智能体可观测性工作流

AI智能体可观测性工作流

4个可下载技能 · 4步自动化工作流 · 每个技能可单独运行

把 AI 智能体从“出了问题才翻日志”升级为可比较、可复测、可拦截的发布流程：先把不同智能体、模型与工具的执行轨迹整理成统一结构，再核对工具调用是否符合预期和权限边界，随后计算时延、token、重试、错误率与自定义费率下的估算成本，最后把候选版本与基线比较并生成发布门禁。套装仅处理本地脱敏 JSON，不调用模型、不执行工具、不连接监控平台，也不会自动发布或回滚生产智能体。

4步自动化工作流

1 智能体轨迹标准化

对应技能： agent-trace-normalizer

解决什么： 把多智能体、多模型和多工具产生的 run/span 记录统一为确定性结构，计算时延、重试、token，并对邮箱、手机号和凭据样式做本地脱敏，对内容正文只保留哈希。

你会得到： 统一 schema、稳定 event_id、按时间排序的 spans、duration_ms、状态、token、脱敏参数与内容 SHA256。

流转到下一步： 标准化轨迹同时交给工具调用评测和时延成本画像，避免每个评测器各自解析一种日志。

2 智能体工具调用评测

对应技能： agent-tool-call-evaluator

解决什么： 按测试场景核对期望工具、调用次数、必需参数键和禁止工具，识别漏调用、意外调用、参数缺失与越权风险。

你会得到： 逐场景 PASS/FAIL、实际工具序列、precision/recall、缺失或次数异常、禁用工具命中和参数失败明细。

流转到下一步： 工具通过率进入最终回归门禁；失败场景保留原 run_id 与 span_id，供人工定位。

3 智能体时延成本画像

对应技能： agent-latency-cost-profiler

解决什么： 根据标准化轨迹和买家自行维护的费率表，计算每次运行的墙钟时延、token、重试、失败 span 与估算成本，不把过时公开价格冒充实时计费。

你会得到： 逐运行明细、P50/P95 时延、平均估算成本、错误率、每次运行重试率和未知费率项。

流转到下一步： 汇总指标与工具调用通过率合并为候选版本观测结果，交给回归门禁与历史基线比较。

4 智能体可观测回归门禁

对应技能： agent-observability-regression-gate

解决什么： 比较基线与候选的工具通过率、P95 时延、平均成本、错误率和重试率，按组织阈值阻断不可接受的退化。

你会得到： PASS/BLOCK 发布结论、逐指标证据、P1/P2 整改队列和保留上一已测版本的回滚建议，形成最终交付。

流转到下一步： 形成最终交付；负责人处理阻断项或批准有记录的例外后，再重新运行门禁并决定是否发布。

实际示例

包内脱敏示例包含两个测试环境客服智能体 run。第一步把模型与 order.lookup 工具 spans 标准化，并将示例邮箱替换为脱敏占位符；第二步验证两个场景都只调用一次允许的查询工具且包含订单引用；第三步用样例费率算出 P95 时延、平均估算成本和重试率；第四步发现候选 P95 时延超过基线允许增幅，因此输出 BLOCK 与整改队列。该示例是可重复运行的测试数据，不代表真实客户结果，也不证明生产系统一定安全。

适合谁

AI 智能体开发者、Agent 平台团队、n8n/Dify/Coze 工作流开发者、AI 客服负责人、模型评测工程师、MCP 工具维护者，以及需要在智能体上线前留存可审计发布证据的企业团队。

买家只需提供

• 已脱敏的 run、agent、model/tool span、起止时间、状态与 token 导出

• 每个测试场景的期望工具、调用次数、必需参数键和禁止工具

• 组织自行确认的模型与工具计价规则，不提供时允许保留未知费率项

• 基线版本汇总指标及允许退化阈值

• 测试环境发布、例外审批与回滚责任人

使用方式

1. 分别进入 4 个技能目录，先按 README 使用 examples 做最小验证；所有输入采用 UTF-8 JSON。

2. 按 4 步顺序运行 Python 脚本，把标准化结果映射到第二、三步，再把评测和画像指标写入第四步候选数据。

3. 在测试环境核对 PASS/BLOCK、异常 span 和估算成本，只有门禁通过或完成有记录的人工例外审批后，再由负责人操作真实发布系统。

交付与验收

• 包含 4 个独立技能目录，每个都有 _meta.json、SKILL.md、OpenAI Agent 配置、README、Python 执行器和脱敏输入输出样例。

• 4 个脚本均可在 Python 3.10 以上独立运行，输出 UTF-8 JSON；相同输入应得到相同 event_id、评测、汇总和门禁结论。

• 验收应能识别遗漏/禁用工具调用，计算 P95 时延与自定义费率成本，并在候选指标超过阈值时生成 BLOCK 和整改队列。

• 错误输入不得静默通过；ID 重复、时间倒置、场景引用缺失或指标字段不完整时应停止并提示修正，原输入不被修改。

• 不包含第三方账号、API 凭据、模型额度、监控 SaaS、OpenTelemetry Collector、真实生产日志、代部署、长期运维或事故响应服务。

服务说明

本套装交付本地规则脚本、样例和操作说明，不会自动采集 OpenTelemetry、Langfuse、n8n、Dify、Coze 或其他平台数据，也不会替代平台原生日志、专业安全测试和人工发布审批。买家需要依据自身数据分类、隐私制度、模型版本、工具权限和实时供应商价格维护输入规则；哈希与脱敏不能自动消除所有重识别风险。工具调用“符合预期”不等于业务答案正确，成本估算不等于账单，回归门禁也不能证明零故障或绝对合规。正式上线前必须使用代表性测试集、保留上一可回滚版本，并由有权限人员复核阻断与例外。