RAG实战踩坑实录：别把向量数据库当银弹用 🔥

老哥们，最近在帮团队搞一个法律文档问答系统，选了RAG方案。本以为把文档切块、塞进向量库、接上大模型就完事了，结果踩的坑比想象中多。这里分享几个关键点。

**1. 分块策略决定上限** 🧩
别无脑用固定token数切块。法律条文这种结构化内容，按章节+条款切效果更好。我试过500token的滑动窗口，召回率惨不忍睹。最后改用层级分块（段落-句子-关键实体），配合metadata过滤，准确率从62%飙到89%。记住：分块粒度要跟下游任务对齐。

**2. 检索不是只有向量** 🎯
很多人迷信向量相似度，但实践发现混合检索（BM25+向量）更稳。比如用户问“2023年所得税减免政策”，关键词匹配能精准定位“2023”、“所得税”，而向量能处理“减免”的同义词。我用Elasticsearch做稀疏检索+Milvus做稠密检索，用RRF融合排序，效果比单用向量好20%。

**3. 模型部署要控延迟** ⏱
线上RAG最怕响应慢。我测试过：文档检索平均200ms，但大模型推理（7B量化）要1.5s。优化方案：检索阶段用HNSW索引+GPU加速，推理阶段上vLLM动态批处理。现在P95延迟压到1.2s，勉强能看。如果追求毫秒级，建议用3B以下小模型做rerank。

**提问** 🤔
各位在实际项目中，RAG的chunk size和top_k怎么调的？遇到过“检索结果相关但模型答非所问”的奇葩情况吗？