模型介绍
中文整理harrier-oss-v1
模型概述
harrier-oss-v1是微软开发的多语言文本嵌入模型系列。该模型采用仅解码器架构，使用最后token池化和L2归一化生成密集文本嵌入。
主要能力
适用于多种任务，包括检索、聚类、语义相似度、分类、双语文本挖掘和重排序。该模型在发布时在多语言MTEB v2基准测试中取得了最先进的结果。
参数规格
harrier-oss-v1-270m：2.7亿参数，嵌入维度640，最大输入长度32768 tokens，MTEB v2得分66.5
harrier-oss-v1-0.6b：6亿参数，嵌入维度1024，最大输入长度32768 tokens，MTEB v2得分69.0
harrier-oss-v1-27b：270亿参数，嵌入维度5376，最大输入长度32768 tokens，MTEB v2得分74.3
训练方式
所有模型使用对比学习目标在大规模多语言数据集混合物上进行训练。270m和0.6b版本还从更大的嵌入模型中进行知识蒸馏。
支持语言
模型在多语言数据上训练，支持多种语言，包括阿拉伯语、保加利亚语、加泰罗尼亚语、捷克语、丹麦语、德语、希腊语、英语、西班牙语、爱沙尼亚语、波斯语、芬兰语、法语、希伯来语、印地语、克罗地亚语、匈牙利语、印尼语、意大利语、日语、韩语、立陶宛语、拉脱维亚语、马其顿语、马来语、荷兰语、挪威语、波兰语、葡萄牙语、罗马尼亚语、俄语、斯洛伐克语、斯洛文尼亚语、阿尔巴尼亚语、塞尔维亚语、瑞典语、泰语、土耳其语、乌克兰语、乌尔都语、越南语和中文。
输入输出
输入：文本序列，最大长度32768 tokens
输出：固定维度的密集向量嵌入（根据模型版本为640、1024或5376维），经过L2归一化
基本用法
使用Sentence Transformers时，模型会自动处理最后token池化和L2归一化。可使用预配置的提示词如web search query、sts query和bitext query，也可通过自定义指令编码，例如：model.encode(queries, prompt="Instruct: Retrieve semantically similar text\nQuery: ")
使用Transformers库时需要手动实现最后token池化。
注意事项
需要为查询添加任务指令才能获得最佳性能，指令应为一个描述任务的单句。文档端无需添加指令。不同版本的transformers和pytorch可能导致复现结果与报告结果存在微小差异。
License
开源模型，具体许可证信息需查阅项目官方文档。
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
Problem with the information or download?
Sign in to submit feedback.