模型介绍
中文整理重排序模型
模型用途
重排序模型用于评估查询与文档之间的相关性。与嵌入模型不同,重排序模型直接接收查询和文档作为输入,输出相似度分数。该分数可通过sigmoid函数映射到0到1之间的浮点值。
主要能力
支持中英文及多语言场景。可根据不同需求选择轻量级模型或多层输出模型。部分模型支持层-wise输出,可灵活选择输出层以加速推理。
模型列表
bge-reranker-base:基于xlm-roberta-base,支持中英文,轻量级模型,易于部署,推理速度快。
bge-reranker-large:基于xlm-roberta-large,支持中英文,轻量级模型,易于部署,推理速度快。
bge-reranker-v2-m3:基于bge-m3,支持多语言,具备强大的多语言能力,轻量级模型,易于部署,推理速度快。
bge-reranker-v2-gemma:基于gemma-2b,支持多语言,在英语和多语言能力方面表现良好。
bge-reranker-v2-minicpm-layerwise:基于MiniCPM-2B-dpo-bf16,支持多语言,在英语和中文方面表现良好,支持8至40层输出,可自由选择输出层以加速推理。
模型选择建议
多语言场景:使用bge-reranker-v2-m3或bge-reranker-v2-gemma
中英文场景:使用bge-reranker-v2-m3或bge-reranker-v2-minicpm-layerwise
效率优先:使用bge-reranker-v2-m3或bge-reranker-v2-minicpm-layerwise的低层输出
性能优先:使用bge-reranker-v2-minicpm-layerwise或bge-reranker-v2-gemma
输入输出
输入:查询和文档对
输出:相关性分数,分数越高表示相关性越强,可通过sigmoid函数映射至0到1范围
运行要求
具体硬件要求视模型规模而定。轻量级模型易于部署,推理速度快。层-wise模型可根据资源情况选择不同层进行输出。
基本用法
可通过FlagEmbedding库或Huggingface transformers库调用模型获取相关性分数。
微调
训练数据格式为JSON文件,每行包含一个字典,需提供查询、正面文本列表和负面文本列表。如无负面文本,可从语料库中随机采样。微调初始化权重来源于google/gemma-2b和openbmb/MiniCPM-2B-dpo-bf16,训练数据混合了多语言数据集。
评估
模型在多个基准数据集上进行了评估,包括英文检索基准BEIR、多语言检索基准miracl以及中文检索基准CMTEB-retrieval。评估方式为对bge-en-v1.5 large、e5 mistral 7b instruct、bge-zh-v1.5 large和bge-m3的Top 100检索结果进行重排序。
限制
具体限制信息未在原文中提供。
许可证
具体许可证信息未在原文卡片中明确列出。
优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。
完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖,以原作者说明为准。
是否允许商用、修改和分发,请查看模型许可证。
闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。
资料或下载有问题?
登录后可提交反馈。
