模型介绍
中文整理GTE文本排序-多语言-base
文本检索是信息检索领域的核心问题, 其在很多信息检索、NLP下游任务中发挥着非常重要的作用。 近几年, BERT等大规模预训练语言模型的出现使得文本表示效果有了大幅度的提升, 基于预训练语言模型构建的文本检索系统在召回、排序效果上都明显优于传统统计模型。
由于文档候选集合通常比较庞大，实际的工业搜索系统中候选文档数量往往在千万甚至更高的数量级, 为了兼顾效率和准确率，目前的文本检索系统通常是基于召回&排序的多阶段搜索框架。在召回阶段，系统的主要目标是从海量文本中去找到潜在跟query相关的文档，得到较小的候选文档集合（100-1000个）。召回完成后, 排序阶段的模型会对这些召回的候选文档进行更加复杂的排序, 产出最后的排序结果。 本模型为基于预训练的排序阶段模型。
GTE多语言通用文本排序模型
GTE多语言文本排序模型是GTE(通用文本向量，General Text Embedding)系列模型中的最新的多语言文本排序模型，该模型具有几个关键特性：
- *高性能**: 在多语言检索任务评估中，相比同规模模型，达到了最先进的（SOTA）结果。
- *高推理效率**：采用Encoder-Only架构进行训练，使模型体积更小(300M), 在保持效果的同时提供高效的推理性能，同时降低使用硬件的门槛
- *长上下文**：支持最多8192个token的文本长度
- *多语言能力**：支持70多种语言
模型使用
模型效果
Results of reranking based on multiple text retreival datasets
更多实验评估和结果可以参考论文paper.
API云服务
除了开源的GTE系列模型，GTE系列模型同时在阿里云上提供商用API服务:
文本Embedding模型: 提供三种版本的文本嵌入模型：text-embedding-v1/v2/v3，其中v3是最新版本的模型服务
文本ReRank模型: 提供gte-rerank模型服务, 模型持续迭代中
Note: API服务背后的模型与开源模型并不完全相同
引用
如果你觉得这个该模型对有所帮助，请考虑引用下面的相关的论文：
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。