模型介绍
中文整理Qwen3-Embedding-4B-GGUF 模型卡片
模型用途
Qwen3-Embedding-4B-GGUF 是阿里云通义千问系列的自研文本嵌入模型，专门用于文本嵌入和排序任务。该模型适用于文本检索、代码检索、文本分类、文本聚类、双语文本挖掘等多种下游应用场景。
主要能力
该模型支持超过100种语言，包括多种编程语言，具备出色的多语言和跨语言检索能力。模型支持32k上下文长度，嵌入维度最高可达2560维，并允许用户自定义输出维度（范围32至2560）。模型支持MRL（多维输出）功能，可自定义最终嵌入的维度。同时支持指令感知功能，用户可根据不同任务、语言或场景自定义输入指令以提升性能。根据评估结果，使用指令通常相比不使用指令可提升约1%至5%的检索性能。
模型规格
模型类型：文本嵌入
参数量：4B
层数：36
上下文长度：32k
嵌入维度：2560（支持自定义32至2560）
量化选项：q4_K_M、q5_0、q5_K_M、q6_K、q8_0、f16
输入输出
输入：文本字符串，可附带自定义指令
输出：文本的嵌入向量表示
运行要求
该模型为GGUF格式，需使用llama.cpp运行。建议参考llama.cpp官方指南进行安装和使用。具体硬件要求和推理性能请参阅官方博客和GitHub。
基本用法
建议开发者根据具体场景、任务和语言定制指令。在多语言场景下，建议使用英文编写指令，因为模型训练过程中使用的大部分指令为英文。可通过llama.cpp命令行或启动服务器方式运行模型。
限制
模型性能可能因具体任务、语言和使用方式而有所不同。评估显示的分数来源于标准基准测试，实际应用中的表现可能存在差异。
许可证
原文未提供具体的许可证信息。
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。