Qwen2.5-Coder-14B

# Qwen2.5-Coder-14B 模型卡片

模型概述

Qwen2.5-Coder是面向代码场景的Qwen大语言模型系列最新版本。该系列目前覆盖0.5B、1.5B、3B、7B、14B、32B六种主流参数规模，以满足不同开发者的需求。

## 主要能力

• **代码生成**：根据自然语言描述生成代码
• **代码推理**：理解和分析代码逻辑
• **代码修复**：识别并修复代码中的错误
• **数学与通用能力**：保持数学推理和通用语言理解能力
• **长上下文支持**：最高支持128K tokens上下文长度
• **Code Agents**：为现实应用场景提供更全面的基础能力

该模型基于Qwen2.5架构训练，训练语料规模达5.5万亿tokens，涵盖源代码、文本代码对齐数据及合成数据等。

## 输入输出

• **输入**：自然语言描述、代码片段或两者的组合
• **输出**：生成的代码、代码分析结果或修复建议

运行要求

• 依赖最新的Hugging Face Transformers库
• 建议使用最新版本的transformers

基本用法

该模型为预训练基座模型，不建议直接用于对话场景。如需用于对话应用，建议进行后训练处理，例如：

• 监督微调（SFT）
• 人类反馈强化学习（RLHF）
• 持续预训练

## 模型规格

• 参数总量：14.7B
• 非嵌入参数：13.1B
• 层数：48
• 注意力头数：40个Q头，8个KV头
• 上下文长度：131,072 tokens
• 架构：Transformer + RoPE + SwiGLU + RMSNorm + Attention QKV bias

限制

• 原始预训练模型不适用于直接对话
• 需通过后训练方式适配对话场景

许可证

请参阅官方项目页面获取许可证相关信息。