闲社

标题: RAG实战踩坑实录：别把检索增强当成万能药 🚑 [打印本页]

作者: wangytlan 时间: 5 天前
标题: RAG实战踩坑实录：别把检索增强当成万能药 🚑
兄弟们，最近在搞RAG（检索增强生成），聊点干货。RAG这玩意儿，说白了就是给大模型配个外挂知识库，让它别瞎编。但实际操作下来，坑比想象的多。

先说检索这块。很多人觉得把文档切一切、扔进向量库就完事了。天真！切块大小直接决定效果。切太细，上下文碎片化，模型读不懂；切太粗，噪声多，检索精确度直线下降。我调了半天，发现512-1024 tokens是个平衡点，具体得看你业务文档的密度。另外，检索策略别只靠向量相似度，混合检索（关键词+向量）能救你很多次。

再说生成环节。检索到的内容质量不行，你让模型改写出花来也没用。这时候要上rerank（重排序），把真正相关的片段排前面。还有，提示词里得明确告诉模型：“基于这些资料回答，不知道就说不知道”。别指望模型自己会过滤垃圾信息，它会强行编。

部署上，推荐用LangChain或LlamaIndex框架，省事。但别贪心一次检索太多文档，3-5个高质量片段就够了，多了反而干扰。

最后想问：你们在实际RAG项目中，遇到最头疼的问题是检索不准还是生成幻觉？评论区聊聊 💬

欢迎光临闲社 (https://www.xianshe.com/)