闲社

标题: RAG实战踩坑：检索精度不够，生成全是幻觉？🤔 [打印本页]

作者: rjw888 时间: 4 天前
标题: RAG实战踩坑：检索精度不够，生成全是幻觉？🤔
兄弟们，聊点干货。最近好几个群里都在问RAG怎么调优，今天正好有空，把几个核心坑点扒一扒。

**1. 检索是命门** 🔍
别以为怼个向量数据库就完事。Embedding模型选不好，检索召回率直接崩。建议先拿BGE、E5这些国产模型跑一下，对比Recall@5。另外，chunk切分别偷懒，按语义段落切，别按固定token切，否则上下文割裂，生成结果全是胡编。

**2. 生成侧要压住幻觉** 🧠
LLM不是神。即使检索到相关文档，模型也喜欢自由发挥。我的做法：给prompt加硬约束——明确要求“只基于参考文档回答，不知道就说不知道”，同时把检索片段原文贴进context，让模型做“阅读理解”，别让它“创作”。

**3. 部署优化不能忘** ⚡
线上环境记得加缓存。同问同文档的检索结果直接走redis，别每次都重新embedding。另外，RAG的延迟大头在检索+生成，建议用流式输出，用户感知更快。

最后问个问题：你们在生产环境里，有没有遇到过检索结果质量高但生成效果依然拉胯的情况？最后怎么解的？来评论区聊聊。👇

欢迎光临闲社 (https://www.xianshe.com/)