DeepSeek-R1-Distill-Qwen-32B

DeepSeek-R1 模型卡片

模型用途

DeepSeek-R1系列是第一代推理模型，包括DeepSeek-R1-Zero和DeepSeek-R1两个版本。该系列模型专注于数学、代码和推理任务，在相关基准测试中展现出与OpenAI-o1相当的性能表现。

主要能力

DeepSeek-R1-Zero通过大规模强化学习直接训练，无需监督微调作为前置步骤。该模型自然涌现出自我验证、反思和生成长链式思考（CoT）的能力。这是首个开源研究验证了大型语言模型的推理能力可以通过纯强化学习来激励。

DeepSeek-R1在DeepSeek-R1-Zero的基础上引入了冷启动数据，进一步提升了推理性能，并解决了无限重复、可读性差和语言混合等问题。

此外，通过知识蒸馏技术，大模型的推理模式可以被转移到较小的模型中。开源的蒸馏模型包括基于Qwen2.5系列的1.5B、7B、14B、32B版本以及基于Llama3系列的8B和70B版本。

输入输出

模型接受用户提示作为输入，输出推理结果。最大生成长度为32,768个token，上下文长度支持128K。

运行要求

DeepSeek-R1和DeepSeek-R1-Zero基于DeepSeek-V3-Base训练，总参数671B，激活参数37B。蒸馏模型分别基于Qwen2.5-Math系列和Llama3系列开发。

基本用法

使用DeepSeek-R1系列模型时，建议遵循以下配置以获得预期性能：

温度设置建议在0.5至0.7范围内，推荐值为0.6，以防止无限重复或输出不一致。

避免添加系统提示，所有指令应包含在用户提示中。

对于数学问题，建议在提示中包含“请逐步推理，并将最终答案放在\boxed{}中”之类的指引。

评估模型性能时，建议进行多次测试并取平均值。

为确保模型进行充分推理，建议强制模型在每次输出的开头以“\ \n”开始响应。

限制

DeepSeek-R1-Zero存在无限重复、可读性差和语言混合等问题。Hugging Face的Transformers尚未直接支持DeepSeek-R1系列模型运行。

许可证

代码仓库和模型权重采用MIT许可证。DeepSeek-R1系列支持商业使用，允许任何修改和衍生工作，包括用于训练其他大型语言模型的蒸馏操作。

需要注意的是，基于Qwen2.5系列蒸馏的模型（1.5B、7B、14B、32B）原始采用Apache 2.0许可证，后使用DeepSeek-R1精选的80万样本进行微调。DeepSeek-R1-Distill-Llama-8B基于Llama3.1-8B-Base，原始采用llama3.1许可证。DeepSeek-R1-Distill-Llama-70B基于Llama3.3-70B-Instruct，原始采用llama3.3许可证。