模型介绍
中文整理模型名称
Qwen2.5-Coder-1.5B-Instruct-GGUF
模型用途
Qwen2.5-Coder是专用于代码生成的阿里千问大语言模型系列。该模型是指令微调版本，适用于代码补全、代码生成、代码推理和代码修复等任务。
主要能力
代码生成：基于5.5万亿训练令牌训练，涵盖源代码、文本代码关联数据、合成数据等，显著提升代码生成能力。
代码推理：增强代码逻辑理解和推理能力。
代码修复：支持代码错误检测和修复。
应用支持：提供更全面的现实应用基础，如Code Agents，同时保持数学和通用能力。
输入输出
输入：最长32,768个令牌的自然语言提示或代码上下文
输出：生成的代码文本或代码补全结果
运行要求
参数规模：总参数15.4亿，非嵌入参数13.1亿
模型结构：28层，12个Q注意力头和2个KV注意力头，使用RoPE、SwiGLU、RMSNorm、Attention QKV偏置和词嵌入绑定技术
量化支持：q2_K、q3_K_M、q4_0、q4_K_M、q5_0、q5_K_M、q6_K、q8_0
GPU内存：具体内存需求需参考评估结果
注意：目前仅vLLM支持YARN长度外推，如需处理最长131,072令牌的序列，请使用非GGUF版本模型。
基本用法
建议使用llama.cpp运行GGUF格式模型。首先克隆llama.cpp仓库并按官方指南安装。然后下载所需的GGUF模型文件，可使用huggingface-cli工具下载。启动后进入对话模式即可进行交互式代码生成。
许可证
Apache 2.0许可证
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。