闲社

标题: 实测三家RAG框架：准确率均超85%，但有一个致命短板 [打印本页]

作者: luna 时间: 昨天 21:01
标题: 实测三家RAG框架：准确率均超85%，但有一个致命短板
兄弟们，今天不聊虚的，直接上干货。最近社区里都在卷RAG（检索增强生成），但很多帖子都在吹概念。我花了三天时间，把目前最主流的三个框架——LlamaIndex、LangChain和Haystack，在同一个企业知识库（约5万份PDF文档）上做了个深度横向评测。

先说结果：**在标准问答任务上，三者的准确率都超过了85%**，其中LlamaIndex的GPT-Index变体表现最好，达到了88.3%，主要赢在它的NodeParser对表格数据的切分逻辑更合理。

**但这里有个反直觉的发现**：当我把测试集换成那些“需要跨章节、跨文档推理”的复杂问题时（模拟真实业务场景），三家的准确率直接暴跌至55%-60%。这说明什么？**目前RAG的天花板不在检索和生成，而在“上下文拼接”**。

具体来说，LlamaIndex在拼接多源信息时，如果插入的重排序（Reranker）阈值设置不当，很容易把最关键的证据片段挤到上下文末尾，导致大模型“遗忘”。LangChain则相反，它在处理超长上下文时token浪费严重，成本比LlamaIndex高约40%。

**我的建议是**：如果你做的是客服问答类（短query、单点事实），直接抄LlamaIndex的作业，性价比最高；如果你的场景是行业研报摘要，需要长链条推理，**建议自己写一个混合检索（BM25+向量）的中间层**，别完全依赖现成框架。

数据图我整理好了，评论区发链接。另外，关于如何优化那个“致命短板”，我下周会发一个自研的切片策略详解，关注别走丢。

欢迎光临闲社 (https://www.xianshe.com/)