DeepSeek-R1-Distill-Qwen-14B

# DeepSeek-R1 模型卡片

模型用途

DeepSeek-R1 是第一代推理模型，包括 DeepSeek-R1-Zero 和 DeepSeek-R1 两个版本。该模型通过大规模强化学习训练，在数学、代码和推理任务上实现了与 OpenAI-o1 相当的性能表现。

## 主要能力

DeepSeek-R1-Zero 通过直接对基础模型应用强化学习训练，无需监督微调作为前置步骤。该模型自然涌现出自我验证、反思和生成长链式思考（CoT）的能力。DeepSeek-R1 在此基础上引入冷启动数据，进一步提升了推理性能，解决了 DeepSeek-R1-Zero 面临的无限重复、可读性差和语言混合等问题。

## 输入输出

• *输入格式**：文本提示，建议将所有指令包含在用户提示中，避免添加系统提示

• *输出格式**：文本响应，包含推理过程

• *上下文长度**：128K tokens

• *最大生成长度**：32,768 tokens

运行要求

• *DeepSeek-R1-Zero 和 DeepSeek-R1**：

• 总参数：671B
• 激活参数：37B
• 上下文长度：128K

• *蒸馏模型**：

• DeepSeek-R1-Distill-Qwen-1.5B：基于 Qwen2.5-Math-1.5B
• DeepSeek-R1-Distill-Qwen-7B：基于 Qwen2.5-Math-7B
• DeepSeek-R1-Distill-Llama-8B：基于 Llama-3.1-8B
• DeepSeek-R1-Distill-Qwen-14B：基于 Qwen2.5-14B
• DeepSeek-R1-Distill-Qwen-32B：基于 Qwen2.5-32B
• DeepSeek-R1-Distill-Llama-70B：基于 Llama-3.3-70B-Instruct

基本用法

• *推荐配置**：

• 温度设置：0.5-0.7 范围内（推荐 0.6），以防止无限重复或输出不连贯
• 不添加系统提示，所有指令放在用户提示中
• 对于数学问题，建议在提示中包含："Please reason step by step, and put your final answer within \boxed{}."
• 评估模型性能时，建议进行多次测试并取平均值
• 为确保模型进行充分推理，建议在输出开头强制要求模型以"\ \n"开始

• *注意**：Hugging Face Transformers 尚未直接支持 DeepSeek-R1 系列模型运行。

限制

• DeepSeek-R1-Zero 存在无限重复、可读性差和语言混合的问题
• 部分查询可能导致模型跳过思考模式（即输出"\ \n\n\ "），影响模型性能
• 蒸馏模型基于不同的开源模型构建，性能受基础模型限制

许可证

本代码仓库和模型权重采用 MIT 许可证。DeepSeek-R1 系列支持商业使用，允许进行任何修改和衍生工作，包括但不限于用于训练其他大语言模型的蒸馏。

• *蒸馏模型许可证说明**：

• DeepSeek-R1-Distill-Qwen-1.5B、7B、14B、32B 衍生自 Qwen-2.5 系列，原许可证为 Apache 2.0，使用 DeepSeek-R1 精选的 80 万样本进行微调
• DeepSeek-R1-Distill-Llama-8B 衍生自 Llama3.1-8B-Base，原许可证为 llama3.1
• DeepSeek-R1-Distill-Llama-70B 衍生自 Llama3.3-70B-Instruct，原许可证为 llama3.3