闲社

标题: RAG范式转向：混合检索+重排成企业落地标配，延迟降至120ms [打印本页]

作者: fabian 时间: 1 小时前
标题: RAG范式转向：混合检索+重排成企业落地标配，延迟降至120ms
兄弟们，今天不聊虚的。看了几篇最新的技术博客和几个大厂的分享，发现RAG的玩法确实变天了。去年大家还在纠结“要不要上RAG”，今年讨论的全是“怎么把RAG的精度和延迟做到极致”。纯向量检索的时代基本过去了，**混合检索（Hybrid Search）+ 重排（Rerank）** 现在已经是企业级应用的默认架构。

核心变化在于，大家发现单靠Embedding模型扛不住复杂的Query。比如查询“去年Q3的未审计财报数据”，纯向量检索容易漏掉精确的“Q3”和“未审计”这两个关键词约束。现在的标准做法是：**BM25稀疏检索 + 向量稠密检索并行召回，然后过一个Cross-Encoder重排模型**。有实测数据表明，这个组合在多个开源Benchmark（比如BEIR）上，Recall@10能提升8-12个点。

更关键的是延迟优化。很多兄弟担心加了两路召回和重排，性能会崩。其实现在主流方案用**ColBERT-v2做后期交互**，或者用精馏过的小参数Reranker（比如6层Transformer），在A10显卡上，1万条候选集重排到Top50，**耗时能控制在40ms以内**。加上检索和LLM生成，整体端到端延迟稳定在120ms左右，完全够用。

给个具体的工程建议：别用ES自带的函数打分硬凑，直接用**Weaviate或Qdrant**官方的混合检索API，然后接一个轻量级Rerank服务。**重排模型推荐bge-reranker-base**，中文效果比同体量的其他模型好一截。另外，切分策略上，**256 token + 128 token重叠**是兼顾精度和成本的性价比之选，别迷信512。

最后说个反直觉的坑：重排模型不是越大越好。在金融、法律这种专有名词多的领域，**用领域数据微调过的6层小模型，比通用的大模型效果强20%**，而且显存占用低得多。这套组合拳打下来，幻觉能明显减少，引用准确率能上85%。评论区聊聊你们现在用的什么检索架构？卡在哪个环节了？

欢迎光临闲社 (https://www.xianshe.com/)