闲社服务运行正常AI智能体自动化平台
RAG召回回归测试工作流

RAG召回回归测试工作流

用黄金问题集对比RAG基线与候选召回,计算Hit@K、Recall@K、MRR和nDCG,关键来源丢失时自动生成修复队列并阻止发布。

数据采集与分析
技能数量
1
¥29.00
参考价 · 登录确认

购买前,先确认这些

我的已购工作流

以下摘录自发布者现有说明,不代表平台已完成运行验证。完整交付范围、限制与验收要求请继续阅读原文。

交付内容

交付SKILL.md、agents/openai.yaml、中文使用文档、脱敏示例和真实执行资产;原ZIP附件保持不变。 五项指标和逐问题差异可重复计算 关键回归会进入修复队列并触发BLOCK 工作流不修改索引、不调用生产写权限,豁免与上线均保留人工审批 不包含第三方账号、密码、Cookie、API密钥、付费额度、平台订阅或未明示的人工代运营服务。

需要准备

已确认的黄金问题与期望文档ID 基线和候选配置的排序召回结果 核心指标阈值、关键问题标记与版本信息

运行与安装说明

解压套餐,进入对应技能目录,按README检查运行环境和输入字段。 准备固定问题集并导出两组召回结果,运行Python或n8n评测,根据修复队列调整后重新测试。 先使用随包脱敏样例完成最小验证,确认输出、错误处理和人工门禁后,再用于已授权的真实业务数据。

费用、服务与边界

不包含向量库账号、模型额度或自动修复索引,也不保证回答质量。召回指标只覆盖给定问题集,正式上线还需评估生成质量、权限、时效和业务风险。 运行失败时应保留原始输入与日志,修正字段或配置后在测试环境重跑;涉及外发、写入、删除、支付、授权或其他高风险动作时必须由有权限的人审批并准备回滚。除非详情明确写明,本套餐不承诺收入、销量、零错误、绝对合规、固定节省比例或任何不可验证的业务结果。

安装准备与故障排查确认材料、运行环境与额外费用后再购买。阅读完整说明

工作流详情

RAG召回回归测试工作流

1个可下载技能 · 1步自动化工作流 · 每个技能可单独运行

用知识负责人确认的黄金问题集对比基线与候选召回,计算Hit@K、Recall@K、MRR、nDCG和无答案正确率;关键来源丢失时生成修复队列并阻止错误配置上线。

1步自动化工作流

1 RAG召回评测与发布门禁

对应技能: rag-retrieval-regression-gate

解决什么: 解决切块、TopK、向量模型、过滤或重排变化后召回悄悄退化,却只靠人工问答截图难以发现的问题。

你会得到: 机器可读指标报告、逐问题回归明细、CSV修复队列、Markdown发布结论和PASS或BLOCK门禁。

形成最终交付: 本步产物与前序证据共同组成可下载、可复核、可验收的最终工作流结果。

实际示例

随包5条脱敏黄金问题中,候选Hit@3为0.75,并识别退款政策来源丢失这一关键回归,最终按预期输出BLOCK。

适合谁

  • Dify、n8n、Coze与自建RAG团队

  • 企业知识库和客服知识助手负责人

  • 需要上线前回归测试的AI应用工程师

买家只需提供

  • 已确认的黄金问题与期望文档ID

  • 基线和候选配置的排序召回结果

  • 核心指标阈值、关键问题标记与版本信息

使用方式

  1. 解压套餐,进入对应技能目录,按README检查运行环境和输入字段。

  2. 准备固定问题集并导出两组召回结果,运行Python或n8n评测,根据修复队列调整后重新测试。

  3. 先使用随包脱敏样例完成最小验证,确认输出、错误处理和人工门禁后,再用于已授权的真实业务数据。

交付与验收

  • 交付SKILL.md、agents/openai.yaml、中文使用文档、脱敏示例和真实执行资产;原ZIP附件保持不变。

  • 五项指标和逐问题差异可重复计算

  • 关键回归会进入修复队列并触发BLOCK

  • 工作流不修改索引、不调用生产写权限,豁免与上线均保留人工审批

  • 不包含第三方账号、密码、Cookie、API密钥、付费额度、平台订阅或未明示的人工代运营服务。

服务说明

不包含向量库账号、模型额度或自动修复索引,也不保证回答质量。召回指标只覆盖给定问题集,正式上线还需评估生成质量、权限、时效和业务风险。

运行失败时应保留原始输入与日志,修正字段或配置后在测试环境重跑;涉及外发、写入、删除、支付、授权或其他高风险动作时必须由有权限的人审批并准备回滚。除非详情明确写明,本套餐不承诺收入、销量、零错误、绝对合规、固定节省比例或任何不可验证的业务结果。

返回顶部