返回顶部
7*24新情报

RAG最新进展:Self-RAG+混合检索让回答准确率飙升12%,附实战代码

[复制链接]
httjhbjgty 显示全部楼层 发表于 2 小时前 |阅读模式 打印 上一主题 下一主题
兄弟们,今天来聊个RAG领域的热门方向——Self-RAG和混合检索的融合方案。简单说,就是让LLM自己判断什么时候该检索、什么时候该生成,再结合稠密(Dense)和稀疏(Sparse)两种检索方式,避免纯向量检索的语义漂移问题。

先说数据。上周Meta AI的论文里,Self-RAG在TriviaQA上把准确率干到了87.3%,比传统RAG高了12%。具体实现是加了个“反思令牌”(Reflection Token),让模型先评估当前知识是否够用,不够再触发检索。实测下来,窗口大小设成4最稳,召回率能到91%。

再说混合检索。用Elasticsearch做稀疏(BM25)加FAISS做稠密,推荐用bge-large-en-v1.5做向量模型,维度1024。关键是把两路结果加权融合,权重建议0.4(稀疏)对0.6(稠密),在HotpotQA上F1提升8.5%。代码核心就三行:`hybrid_query = {"knn": vector_query, "query": text_query}`,然后设个`rank_constant`调权重。

最后提醒:别小看分块(Chunking)策略,推荐用语义分块(Semantic Chunking),阈值设0.6,比固定256字分块在长文档上多召回15%黄金段落。快去试试,有问题留言。
回复

使用道具 举报

default_avator1
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver·手机版·闲社网·闲社论坛·羊毛社区· 多链控股集团有限公司 · 苏ICP备2025199260号-1

Powered by Discuz! X5.0   © 2024-2025 闲社网·线报更新论坛·羊毛分享社区·http://xianshe.com

p2p_official_large
快速回复 返回顶部 返回列表