用黄金问题集对比RAG基线与候选召回,计算Hit@K、Recall@K、MRR和nDCG,关键来源丢失时自动生成修复队列并阻止发布。
以下摘录自发布者现有说明,不代表平台已完成运行验证。完整交付范围、限制与验收要求请继续阅读原文。
交付SKILL.md、agents/openai.yaml、中文使用文档、脱敏示例和真实执行资产;原ZIP附件保持不变。 五项指标和逐问题差异可重复计算 关键回归会进入修复队列并触发BLOCK 工作流不修改索引、不调用生产写权限,豁免与上线均保留人工审批 不包含第三方账号、密码、Cookie、API密钥、付费额度、平台订阅或未明示的人工代运营服务。
已确认的黄金问题与期望文档ID 基线和候选配置的排序召回结果 核心指标阈值、关键问题标记与版本信息
解压套餐,进入对应技能目录,按README检查运行环境和输入字段。 准备固定问题集并导出两组召回结果,运行Python或n8n评测,根据修复队列调整后重新测试。 先使用随包脱敏样例完成最小验证,确认输出、错误处理和人工门禁后,再用于已授权的真实业务数据。
不包含向量库账号、模型额度或自动修复索引,也不保证回答质量。召回指标只覆盖给定问题集,正式上线还需评估生成质量、权限、时效和业务风险。 运行失败时应保留原始输入与日志,修正字段或配置后在测试环境重跑;涉及外发、写入、删除、支付、授权或其他高风险动作时必须由有权限的人审批并准备回滚。除非详情明确写明,本套餐不承诺收入、销量、零错误、绝对合规、固定节省比例或任何不可验证的业务结果。
1个可下载技能 · 1步自动化工作流 · 每个技能可单独运行
用知识负责人确认的黄金问题集对比基线与候选召回,计算Hit@K、Recall@K、MRR、nDCG和无答案正确率;关键来源丢失时生成修复队列并阻止错误配置上线。
对应技能: rag-retrieval-regression-gate
解决什么: 解决切块、TopK、向量模型、过滤或重排变化后召回悄悄退化,却只靠人工问答截图难以发现的问题。
What you get: 机器可读指标报告、逐问题回归明细、CSV修复队列、Markdown发布结论和PASS或BLOCK门禁。
形成最终交付: 本步产物与前序证据共同组成可下载、可复核、可验收的最终工作流结果。
随包5条脱敏黄金问题中,候选Hit@3为0.75,并识别退款政策来源丢失这一关键回归,最终按预期输出BLOCK。
Dify、n8n、Coze与自建RAG团队
企业知识库和客服知识助手负责人
需要上线前回归测试的AI应用工程师
已确认的黄金问题与期望文档ID
基线和候选配置的排序召回结果
核心指标阈值、关键问题标记与版本信息
解压套餐,进入对应技能目录,按README检查运行环境和输入字段。
准备固定问题集并导出两组召回结果,运行Python或n8n评测,根据修复队列调整后重新测试。
先使用随包脱敏样例完成最小验证,确认输出、错误处理和人工门禁后,再用于已授权的真实业务数据。
交付SKILL.md、agents/openai.yaml、中文使用文档、脱敏示例和真实执行资产;原ZIP附件保持不变。
五项指标和逐问题差异可重复计算
关键回归会进入修复队列并触发BLOCK
工作流不修改索引、不调用生产写权限,豁免与上线均保留人工审批
不包含第三方账号、密码、Cookie、API密钥、付费额度、平台订阅或未明示的人工代运营服务。
不包含向量库账号、模型额度或自动修复索引,也不保证回答质量。召回指标只覆盖给定问题集,正式上线还需评估生成质量、权限、时效和业务风险。
运行失败时应保留原始输入与日志,修正字段或配置后在测试环境重跑;涉及外发、写入、删除、支付、授权或其他高风险动作时必须由有权限的人审批并准备回滚。除非详情明确写明,本套餐不承诺收入、销量、零错误、绝对合规、固定节省比例或任何不可验证的业务结果。
以下为套餐组成,实际执行顺序请按上方工作流说明。安装所需环境、账号与外部服务费用请在购买前确认。