模型详情
模型介绍
中文整理# Qwen2.5-Coder-14B-Instruct-GGUF
模型用途
Qwen2.5-Coder是专用于代码生成的Qwen大语言模型系列。该模型系列涵盖0.5B、1.5B、3B、7B、14B、32B六种主流参数规模，可满足不同开发者的需求。
## 主要能力
- *代码能力**：在代码生成、代码推理和代码修复方面有显著提升。基于强大的Qwen2.5，训练语料达5.5万亿token，包含源代码、文本-代码关联数据、合成数据等。14B模型在代码能力上可与GPT-4o相媲美。
- *应用支持**：为Code Agents等真实世界应用提供更全面的基础，不仅增强了编码能力，还保持了数学和通用能力方面的优势。
- *长上下文**：支持最长128K tokens的上下文长度。
## 输入输出
输入：文本形式的指令或代码提示
输出：代码或文本响应
运行要求
- *模型规格**：
参数总量：14.7B
非嵌入参数：13.1B
层数：48
注意力头：40个Q头，8个KV头
- *上下文长度**：标准支持32,768 tokens。若需处理最长131,072 tokens的序列，请使用非GGUF版本。
- *量化版本**：支持q2_K、q3_K_M、q4_0、q4_K_M、q5_0、q5_K_M、q6_K、q8_0等多种量化格式。
- *GPU内存**：具体内存需求和吞吐量请参考官方博客中的评估数据。
基本用法
- 克隆llama.cpp仓库并按官方指南安装
- 使用huggingface-cli或手动下载所需的GGUF文件
- 对于分片文件，使用llama-gguf-split命令合并
- 进入对话模式运行推理
限制
- GGUF格式模型当前最大支持32,768 tokens的上下文
- 目前仅vLLM支持YARN进行长度扩展以处理更长序列
许可证
开源模型，遵循开源许可证。
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行环境
运行模型需要的设备、工具与依赖，以原作者说明为准。
授权范围
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。