模型介绍
中文整理MiniCPM3-RAG-LoRA
MiniCPM3-RAG-LoRA** 由面壁智能、东北大学信息检索小组（NEUIR）和清华大学自然语言处理实验室（THUNLP）和共同开发，是一个专门面向检索增强生成（RAG）场景的生成模型。它在 MiniCPM3 的基础上，采用低秩适应（LoRA）技术，通过直接偏好优化（DPO）方法进行微调，仅基于两万余条开放域问答和逻辑推理任务的开源数据，在通用评测数据集上实现了模型性能平均提升约 13%。
欢迎关注 MiniCPM3 与 RAG 套件系列：
基座模型：MiniCPM3
检索模型：MiniCPM-Embedding
重排模型：MiniCPM-Reranker
面向 RAG 场景的 LoRA 插件：MiniCPM3-RAG-LoRA
MiniCPM3-RAG-LoRA** developed by ModelBest Inc., NEUIR and THUNLP, is a generative model specifically designed for Retrieval-Augmented Generation (RAG) scenarios. Based on MiniCPM3, the model is fine-tuned using the Low-Rank Adaptation (LoRA) technique through Direct Preference Optimization (DPO). The fine-tuning process is based on over 20,000 open-source data points from open-domain question answering and logical reasoning tasks, leading to an average performance improvement of approximately 13% on general evaluation datasets.
We also invite you to explore MiniCPM3 and the RAG toolkit series:
Foundation Model: MiniCPM3
Retrieval (Embedding) Model: MiniCPM-Embedding
Re-ranking Model: MiniCPM-Reranker
LoRA Plugin for RAG scenarios: MiniCPM3-RAG-LoRA
模型信息 Model Information
模型大小：4B
最大输入token数：32768
Model Size: 4B
Max Input Tokens: 32768
模型使用 Usage
输入格式 Input Format
MiniCPM3-RAG-LoRA 模型遵循格式如下：
MiniCPM3-RAG-LoRA supports instructions in the following format:
环境要求 Requirements
示例脚本 Demo
实验结果 Evaluation Results
经过针对RAG场景的LoRA训练后，MiniCPM3-RAG-LoRA在开放域问答（NQ、TQA、MARCO）、多跳问答（HotpotQA）、对话（WoW）、事实核查（FEVER）和信息填充（T-REx）等多项任务上的性能表现，超越Llama3-8B和Baichuan2-13B等业内优秀模型。
After being fine-tuned with LoRA for RAG scenarios, MiniCPM3-RAG-LoRA outperforms leading industry models like Llama3-8B and Baichuan2-13B across various tasks, including open-domain question answering (NQ, TQA, MARCO), multi-hop question answering (HotpotQA), dialogue (WoW), fact checking (FEVER), and information filling (T-REx).
NQ(Acc) TQA(Acc) MARCO(ROUGE) HotpotQA(Acc) WoW(F1) FEVER(Acc) T-REx(Acc)
:---------------: :-----: :------: :----------: :-----------: :-----: :--------: :--------:
Llama3-8B 45.36 **83.15** 20.81 28.52 10.96 78.08 26.62
Baichuan2-13B 43.36 77.76 14.28 27.59 13.34 31.37 27.46
MiniCPM3 43.21 80.77 16.06 26.00 14.60 **87.22** 26.26
MiniCPM3-RAG-LoRA **48.36** 82.40 **27.68** **31.61** **16.29** 85.81 **40.76**
许可证 License
本仓库中代码依照 Apache-2.0 协议开源。
MiniCPM3-RAG-LoRA 模型权重的使用则需要遵循 MiniCPM 模型协议。
MiniCPM3-RAG-LoRA 模型权重对学术研究完全开放。如需将模型用于商业用途，请填写此问卷。
The code in this repo is released under the Apache-2.0 License.
The usage of MiniCPM3-RAG-LoRA model weights must strictly follow MiniCPM Model License.md.
The models and weights of MiniCPM3-RAG-LoRA are completely free for academic research. After filling out a "questionnaire" for registration, MiniCPM3-RAG-LoRA weights are also available for free commercial use.
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。