模型详情
模型介绍
中文整理# Qwen2.5-Coder-32B-Instruct-GPTQ-Int4 模型卡片
模型概述
Qwen2.5-Coder是专用于代码的Qwen大型语言模型系列最新版本。该系列目前覆盖0.5、1.5、3、7、14、32亿参数六种主流模型规模，以满足不同开发者的需求。
## 主要能力
- **代码生成**：根据自然语言描述生成代码
- **代码推理**：理解和分析代码逻辑
- **代码修复**：识别并修复代码中的错误
- **数学能力**：保持数学推理能力
- **通用能力**：维持通用语言理解与生成能力
- **长上下文支持**：最高支持128K tokens上下文长度
Qwen2.5-Coder-32B是目前开源代码大语言模型中最先进的之一，其编码能力与GPT-4o相当。
## 技术规格
- **模型类型**：因果语言模型
- **训练阶段**：预训练与后训练
- **架构**：使用RoPE、SwiGLU、RMSNorm和Attention QKV bias的transformers架构
- **参数总量**：325亿
- **非嵌入参数**：310亿
- **层数**：64
- **注意力头数**：Q头40个，KV头8个
- **上下文长度**：完整131072 tokens
- **量化方式**：GPTQ 4位量化
运行要求
- 需要使用Hugging Face Transformers最新版本
- 建议使用最新版本的transformers库以确保兼容性
基本用法
通过Transformers库加载并使用该模型进行推理。
许可证
该模型受相关许可证约束，具体信息请参阅原始发布页面。
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行环境运行模型需要的设备、工具与依赖，以原作者说明为准。
授权范围是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。
