模型详情
模型介绍
中文整理# Qwen2.5-14B-Instruct-GGUF 模型卡片
模型概述
Qwen2.5-14B-Instruct-GGUF 是阿里云 Qwen 团队发布的大语言模型，采用 GGUF 格式存储。该模型是基于 Qwen2.5 系列指令微调得到的 14B 参数版本。
模型用途
该模型是一个因果语言模型（Causal Language Model），主要用于对话任务、指令遵循、代码生成、数学推理、文本生成等场景。
## 主要能力
- *知识与推理**：拥有显著更多的知识储备，编程和数学能力大幅提升。
- *指令遵循**：在指令遵循、长文本生成（超过 8K tokens）、理解结构化数据（如表格）、生成结构化输出（特别是 JSON）方面有显著改进。
- *系统提示适应性**：对多样化的系统提示更具抵抗力，便于实现角色扮演和聊天机器人的条件设置。
- *长上下文**：支持最长 128K tokens 上下文，可生成最多 8K tokens。
- *多语言支持**：支持超过 29 种语言，包括中文、英文、法语、西班牙语、葡萄牙语、德语、意大利语、俄语、日语、韩语、越南语、泰语、阿拉伯语等。
## 输入输出
- *输入格式**：文本形式的自然语言指令或对话内容。
- *输出格式**：文本形式的回答，支持生成 JSON 等结构化输出。
- *上下文长度**：完整上下文支持 32,768 tokens，生成支持 8,192 tokens。
运行要求
- *架构**：基于 Transformers，包含 RoPE、SwiGLU、RMSNorm 和 Attention QKV bias。
- *参数规模**：总参数 14.7B，非嵌入参数 13.1B，层数 48 层。
- *注意力机制**：采用 GQA，Q 头 40 个，KV 头 8 个。
- *量化选项**：支持 q2_K、q3_K_M、q4_0、q4_K_M、q5_0、q5_K_M、q6_K、q8_0 等多种量化精度。
- *GPU 内存**：具体内存需求取决于所选量化精度，量化模型可降低显存占用。
基本用法
建议使用 llama.cpp 运行 GGUF 格式模型。进入对话模式可获得类似聊天机器人的体验。
限制
- 当前仅 vLLM 支持 YARN 进行长度外推
- 若需处理超过 131,072 tokens 的序列，请使用非 GGUF 版本模型
许可证
请参考模型发布页面获取完整的许可证信息。
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行环境
运行模型需要的设备、工具与依赖，以原作者说明为准。
授权范围
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。