闲社服务运行正常AI智能体自动化平台

bge-reranker-v2-gemma

BAAI/bge-reranker-v2-gemma

发布机构BAAI

下载访问条件魔搭来源

重排序模型用于评估查询与文档之间的相关性。与嵌入模型不同,重排序模型直接接收查询和文档作为输入,输出相似度分数。该分数可通过sigmoid函数映射到0到1之间的浮点值。 支持中英文及多语言场景。可根据不同需求选择轻量级模型或多层输出模型。部分模型支持层-wise输出,可灵活选择输出层以加速推理。 bge-reranker-base:基于xlm-roberta-base,支持中英文,轻量级模型,易于部署,推理速度快。

文本处理
模型详情

模型介绍

中文整理

重排序模型

模型用途

重排序模型用于评估查询与文档之间的相关性。与嵌入模型不同,重排序模型直接接收查询和文档作为输入,输出相似度分数。该分数可通过sigmoid函数映射到0到1之间的浮点值。

主要能力

支持中英文及多语言场景。可根据不同需求选择轻量级模型或多层输出模型。部分模型支持层-wise输出,可灵活选择输出层以加速推理。

模型列表

bge-reranker-base:基于xlm-roberta-base,支持中英文,轻量级模型,易于部署,推理速度快。

bge-reranker-large:基于xlm-roberta-large,支持中英文,轻量级模型,易于部署,推理速度快。

bge-reranker-v2-m3:基于bge-m3,支持多语言,具备强大的多语言能力,轻量级模型,易于部署,推理速度快。

bge-reranker-v2-gemma:基于gemma-2b,支持多语言,在英语和多语言能力方面表现良好。

bge-reranker-v2-minicpm-layerwise:基于MiniCPM-2B-dpo-bf16,支持多语言,在英语和中文方面表现良好,支持8至40层输出,可自由选择输出层以加速推理。

模型选择建议

多语言场景:使用bge-reranker-v2-m3或bge-reranker-v2-gemma

中英文场景:使用bge-reranker-v2-m3或bge-reranker-v2-minicpm-layerwise

效率优先:使用bge-reranker-v2-m3或bge-reranker-v2-minicpm-layerwise的低层输出

性能优先:使用bge-reranker-v2-minicpm-layerwise或bge-reranker-v2-gemma

输入输出

输入:查询和文档对

输出:相关性分数,分数越高表示相关性越强,可通过sigmoid函数映射至0到1范围

运行要求

具体硬件要求视模型规模而定。轻量级模型易于部署,推理速度快。层-wise模型可根据资源情况选择不同层进行输出。

基本用法

可通过FlagEmbedding库或Huggingface transformers库调用模型获取相关性分数。

微调

训练数据格式为JSON文件,每行包含一个字典,需提供查询、正面文本列表和负面文本列表。如无负面文本,可从语料库中随机采样。微调初始化权重来源于google/gemma-2b和openbmb/MiniCPM-2B-dpo-bf16,训练数据混合了多语言数据集。

评估

模型在多个基准数据集上进行了评估,包括英文检索基准BEIR、多语言检索基准miracl以及中文检索基准CMTEB-retrieval。评估方式为对bge-en-v1.5 large、e5 mistral 7b instruct、bge-zh-v1.5 large和bge-m3的Top 100检索结果进行重排序。

限制

具体限制信息未在原文中提供。

许可证

具体许可证信息未在原文卡片中明确列出。

优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。

你将获得什么

完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。

完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。

使用前须知

运行环境

运行模型需要的设备、工具与依赖,以原作者说明为准。

授权范围

是否允许商用、修改和分发,请查看模型许可证。

闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。

返回顶部