Qwen2.5-14B-Instruct-AWQ

# Qwen2.5-14B-Instruct-AWQ 模型卡片

模型概述

Qwen2.5-14B-Instruct-AWQ 是通义千问 Qwen2.5 系列指令微调模型的 4 位 AWQ 量化版本。

## 模型类型与架构

• **类型**：因果语言模型
• **训练阶段**：预训练与后训练
• **架构**：基于 Transformers，使用 RoPE、SwiGLU、RMSNorm 和 Attention QKV bias
• **参数数量**：14.7B
• **非嵌入参数数量**：13.1B
• **层数**：48
• **注意力头数量**：Q 头 40 个，KV 头 8 个（采用 GQA）
• **量化方式**：AWQ 4-bit

## 主要能力

• **知识与专业能力**：具备更丰富的知识储备，编程与数学能力显著提升
• **指令跟随**：指令遵循能力大幅改进
• **长文本生成**：支持生成长度超过 8K tokens 的文本
• **结构化数据理解**：能够理解表格等结构化数据
• **结构化输出**：支持生成 JSON 等结构化输出格式
• **系统提示适应性**：对多样化的系统提示更具抵抗力，便于实现角色扮演和聊天机器人条件设置
• **长上下文支持**：最高支持 128K tokens 上下文长度，可生成最多 8K tokens
• **多语言支持**：支持超过 29 种语言，包括中文、英语、法语、西班牙语、葡萄牙语、德语、意大利语、俄语、日语、韩语、越南语、泰语、阿拉伯语等

## 输入输出

• **输入**：文本提示，支持最长 131,072 tokens 的上下文
• **输出**：文本生成，支持最长 8,192 tokens 的生成长度

运行要求

• 需要使用 Hugging Face Transformers 库
• 建议使用最新版本的 Transformers

许可证

请参考模型原始仓库获取具体的许可证信息。