RAG实战避坑指南：别让检索成了生成的笑话

兄弟们，最近社区里RAG的话题热度不减，但不少新手栽了跟头。今天直接上干货，聊聊我在模型部署和调优中踩过的RAG坑。

先说检索部分。很多人直接用Embedding模型 + 向量库就开干，结果召回一堆垃圾。关键点在于：1) 文档分块别太死板，根据内容语义设chunk_size，比如代码和技术文档用256 tokens，长文本用512；2) 混合检索才是王道，稀疏检索（BM25）+ 稠密检索互补，召回率能提15%以上。

再谈生成侧。检索回来的上下文别一股脑塞给模型。我试过Qwen2-7B和Llama3-8B，发现给3-5个相关片段、每个截断到150 tokens效果最稳。太长模型容易跑偏，产生幻觉；太短又缺上下文。部署时建议用vLLM加速推理，batch size调大点，吞吐量翻倍。

最后说个血泪教训：别迷信RAG能解决所有问题。如果你的知识库文档质量差、噪音多，RAG反而会污染模型输出。先花时间清洗数据，用LLM做一遍质量过滤，比调什么参数都管用。

问题抛给大家：你们在生产环境用RAG时，最头疼的是检索召回率低，还是生成内容偏离事实？评论区聊聊各自解法。