DeepSeek-R1-Zero

DeepSeek-R1 模型卡片

模型用途

DeepSeek-R1 是深度求索公司推出的第一代推理模型，包括 DeepSeek-R1-Zero 和 DeepSeek-R1 两个版本。该系列模型专注于数学、代码和推理任务，通过大规模强化学习训练，在多项基准测试中实现了与 OpenAI-o1 相当的性能表现。

主要能力

DeepSeek-R1-Zero 通过直接对基础模型应用强化学习训练，无需监督微调作为前置步骤，展现出自我验证、反思和生成长链式思考（CoT）的能力。DeepSeek-R1 在此基础上引入了冷启动数据，进一步提升了推理性能。此外，较大模型的推理模式可被蒸馏到较小的密集模型中，使其在推理任务上表现优异。

输入输出

模型接受文本输入，输出包含推理过程的文本回答。主模型支持最长 128K 上下文长度。

运行要求

DeepSeek-R1-Zero 和 DeepSeek-R1 均为混合专家模型（MoE），总参数量 671B，激活参数量 37B。蒸馏模型包括基于 Qwen2.5 系列的 1.5B、7B、14B、32B 版本，以及基于 Llama3 系列的 8B 和 70B 版本。

基本用法

使用建议配置以获得预期性能：温度参数设置在 0.5 至 0.7 之间，推荐值为 0.6，以防止无限重复或输出不连贯。不要添加系统提示，所有指令应包含在用户提示中。对于数学问题，建议在提示中加入"请逐步推理，并将最终答案放在 \boxed{} 中"。评估模型性能时，建议进行多次测试并取平均值。为确保模型进行充分推理，建议强制模型在每次输出开头以"\ \n"开始。

限制

DeepSeek-R1-Zero 存在一些挑战，如无限重复、输出可读性差和语言混合问题。DeepSeek-R1 系列模型在响应某些查询时可能会跳过思考模式（即输出"\ \n\n\ "），这会影响模型性能。

许可证

本代码仓库和模型权重采用 MIT 许可证。DeepSeek-R1 系列支持商业使用，允许进行任何修改和衍生工作，包括但不限于用于训练其他大语言模型的蒸馏操作。需要注意的是：DeepSeek-R1-Distill-Qwen-1.5B、7B、14B、32B 衍生自 Qwen2.5 系列，原许可证为 Apache 2.0；DeepSeek-R1-Distill-Llama-8B 衍生自 Llama3.1-8B-Base；DeepSeek-R1-Distill-Llama-70B 衍生自 Llama3.3-70B-Instruct。