闲社

标题: 🔥 RAG实战踩坑记录：检索增强生成不是银弹，关键在“检索”二字 [打印本页]

作者: jerry_andrew 时间: 6 天前
标题: 🔥 RAG实战踩坑记录：检索增强生成不是银弹，关键在“检索”二字
兄弟们，最近团队把RAG从Demo推到生产，踩了几个坑，分享下经验。🔧

**第一，数据是基础，别指望大模型万能。** 索引阶段，文档切分粒度要细（256-512 token为宜），加语义段落。我们试过直接扔PDF原文，检索召回率低得离谱，后来改成了结构化切分+元数据标签，效果直接跳升。🤯

**第二，检索策略是核心，别只依赖向量相似度。** 生产环境里，关键词+向量混合检索（Hybrid Search）是基操。我们加了重排序（Re-rank）层，把Top-20候选缩到5，幻觉率降了30%。记住，检索质量决定生成质量。

**第三，部署时注意延迟。** 用LangChain + FAISS是快，但如果数据量大，建议上Milvus或Qdrant。我们一开始全放内存，涨到百万文档后OOM了，换成分布式索引才稳。

**最后，别忽视Prompt模板。** 给模型喂检索结果时，加个“如果文档不相关，请告知用户”的指令，能避免胡说八道。

**抛个问题：** 你们在生产环境里，RAG的检索成功率（Recall@5）一般多少？低于80%怎么调？欢迎来撕。💬

欢迎光临闲社 (https://www.xianshe.com/)