Qwen2.5-7B-Instruct-GPTQ-Int4

# Qwen2.5-7B-Instruct-GPTQ-Int4 模型卡片

模型概述

Qwen2.5-7B-Instruct-GPTQ-Int4 是通义千问 Qwen2.5 系列指令微调模型的 4 位 GPTQ 量化版本。这是一个因果语言模型，基于 Transformer 架构训练。

## 主要能力

• **知识与专业能力**：具备更丰富的知识储备，编程和数学能力显著提升
• **指令跟随**：能够准确理解并执行用户指令
• **长文本生成**：支持生成长度超过 8K tokens 的文本
• **结构化数据理解**：能够理解表格等结构化数据
• **结构化输出**：特别擅长生成 JSON 格式的结构化输出
• **系统提示适应性**：对多样化的系统提示更具韧性，便于实现角色扮演和条件设置
• **长上下文支持**：支持最高 128K tokens 的上下文长度
• **多语言支持**：支持超过 29 种语言，包括中文、英语、法语、西班牙语、葡萄牙语、德语、意大利语、俄语、日语、韩语、越南语、泰语、阿拉伯语等

## 输入输出格式

• **输入**：文本形式的用户提示或指令
• **输出**：模型生成的自然语言文本响应

运行要求

• 需要安装 Hugging Face Transformers 库
• 建议使用最新版本的 Transformers
• 该模型为 4 位量化版本，对显存要求相对较低

## 架构参数

• **参数总量**：7.61B
• **非嵌入参数**：6.53B
• **层数**：28
• **注意力头数**：28 个 Q 头，4 个 KV 头（采用 GQA）
• **上下文长度**：131,072 tokens
• **生成长度**：最高 8,192 tokens
• **量化方式**：GPTQ 4-bit
• **架构特性**：RoPE 位置编码、SwiGLU 激活函数、RMSNorm 归一化、Attention QKV bias

许可证

请参考模型原始仓库获取具体的许可证信息。