Qwen2.5-72B-Instruct-AWQ

# Qwen2.5-72B-Instruct-AWQ 模型卡片

模型概述

Qwen2.5-72B-Instruct-AWQ 是阿里云通义千问系列的大型语言模型，采用AWQ 4位量化技术，经过指令微调的72B参数版本。

## 模型规格

• **类型**：因果语言模型
• **训练阶段**：预训练与后训练
• **架构**：Transformer架构，包含RoPE位置编码、SwiGLU激活函数、RMSNorm归一化以及Attention QKV偏置
• **参数总量**：72.7B
• **非嵌入参数**：70.0B
• **层数**：80
• **注意力头数**：Q头64个，KV头8个（采用GQA）
• **上下文长度**：输入131,072 tokens，输出8,192 tokens
• **量化方式**：AWQ 4位量化

## 主要能力

• **知识与专业能力**：显著提升的知识储备，在编程和数学领域能力大幅增强
• **指令跟随**：显著改进的指令跟随能力
• **长文本生成**：支持生成长文本（超过8K tokens）
• **结构化数据理解**：能够理解表格等结构化数据
• **结构化输出**：特别擅长生成JSON等结构化输出
• **系统提示适应性**：对多样化的系统提示更具韧性，便于实现角色扮演和条件设置
• **长上下文支持**：支持最长128K tokens的上下文处理
• **多语言支持**：支持超过29种语言，包括中文、英语、法语、西班牙语、葡萄牙语、德语、意大利语、俄语、日语、韩语、越南语、泰语、阿拉伯语等

## 输入输出格式

• **输入**：最长131,072 tokens的文本序列
• **输出**：最长8,192 tokens的文本内容

运行要求

• 需要安装最新版本的Hugging Face Transformers库
• 建议使用最新版本的transformers以获得最佳兼容性

基本用法

模型已转换为Hugging Face格式，可通过Transformers库加载使用。具体部署方法请参考官方文档以处理长文本场景。

许可证

请参阅项目官方页面获取完整的许可证信息。