模型详情
模型介绍
中文整理Qwen2.5-Coder-7B-Instruct-GPTQ-Int8
模型概述
Qwen2.5-Coder是面向代码的Qwen大型语言模型最新系列。该系列涵盖六个主流模型规模：0.5B、1.5B、3B、7B、14B、32B参数，以满足不同开发者的需求。
主要能力
代码生成能力显著提升
代码推理能力显著提升
代码修复能力显著提升
支持Code Agents等实际应用
保持数学和通用能力优势
支持最长128K tokens的长上下文
技术规格
类型：因果语言模型
训练阶段：预训练和后训练
架构：采用RoPE、SwiGLU、RMSNorm和Attention QKV bias
参数总量：7.61B
非嵌入参数：6.53B
层数：28
注意力头数：Q头28个，KV头4个
上下文长度：131,072 tokens
量化方式：GPTQ 8位
运行要求
需要使用最新版本的Hugging Face Transformers库。
基本用法
通过Transformers库加载和使用模型。
许可证
请参阅模型官方页面获取完整的许可证信息。
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行环境运行模型需要的设备、工具与依赖，以原作者说明为准。
授权范围是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。
