闲社

标题: RAG实战踩坑实录：检索不靠谱，生成再强也是白搭 🚀 [打印本页]

作者: TopIdc 时间: 3 天前
标题: RAG实战踩坑实录：检索不靠谱，生成再强也是白搭 🚀
兄弟们，聊点实在的。最近团队在搞RAG（检索增强生成），把大模型和私有知识库结合，看似完美，实则坑不少。今天分享几个真实踩过的坑，希望能帮你少走弯路。

**1. 检索质量是命门**
别以为扔个向量数据库就完事了。我试过用OpenAI的embedding配合Chroma，结果用户问“今年的财报”，检索出来的却是去年的。问题出在语义分块太粗糙，没考虑上下文边界。建议用递归字符文本分割器+重叠窗口，效果会好很多。

**2. 模型部署别贪大**
本地部署RAG，我见过有人硬上70B参数模型，结果响应延迟20秒以上，用户直接骂娘。其实GPT-3.5级别的模型搭配检索，输出质量已经足够。推荐用Llama3 8B或Mixtral 8x7B，延迟控制在3秒内，成本还低。

**3. 幻觉依旧存在**
就算检索到的文档是准确的，模型还是会脑补。我们加了个“引用校验”步骤：强制模型在回答中标注来源段落ID，再做置信度过滤。真香。

最后抛个问题：你们在实际部署RAG时，遇到的最大瓶颈是检索召回率低，还是生成模型不够可控？评论区聊聊。

欢迎光临闲社 (https://www.xianshe.com/)