DeepSeek-R1-Distill-Qwen-7B

DeepSeek-R1 模型卡片

模型用途

DeepSeek-R1系列是第一代推理模型，包括DeepSeek-R1-Zero和DeepSeek-R1。该模型专注于数学、代码和推理任务，通过大规模强化学习训练，具备强大的推理能力。

主要能力

DeepSeek-R1-Zero通过纯强化学习训练，无需监督微调作为前置步骤，展现出自我验证、反思和生成长链思考(CoT)的能力。DeepSeek-R1在数学、代码和推理任务上实现了与OpenAI-o1相当的性能。蒸馏后的较小模型同样表现出色，其中DeepSeek-R1-Distill-Qwen-32B在多项基准测试中优于OpenAI-o1-mini。

输入输出

模型接受文本提示作为输入，输出文本响应。DeepSeek-R1支持长链思考输出，最大生成长度为32,768个token。上下文长度支持128K。

运行要求

DeepSeek-R1和DeepSeek-R1-Zero基于DeepSeek-V3-Base训练，总参数671B，激活参数37B，需要高性能GPU运行。蒸馏模型包括1.5B、7B、8B、14B、32B和70B参数版本，基于Qwen2.5和Llama3系列微调。

基本用法

建议配置：温度设置在0.5-0.7范围内，推荐值为0.6，以防止无限重复或输出不连贯。避免添加系统提示，所有指令应包含在用户提示中。对于数学问题，建议在提示中加入"请逐步推理，并将最终答案放在\boxed{}中"。评估模型性能时，建议多次测试并取平均值。为确保模型进行充分推理，建议强制模型以"\ \n"开头开始响应。

限制

DeepSeek-R1系列模型在响应某些查询时可能会跳过思考模式（即输出"\ \n\n\ "），这会影响模型性能。Hugging Face的Transformers尚未直接支持DeepSeek-R1模型本地运行。

许可证

本代码仓库和模型权重采用MIT许可证。DeepSeek-R1系列支持商业使用，允许任何修改和衍生工作，包括用于训练其他LLM的蒸馏。蒸馏模型基于不同的开源模型：DeepSeek-R1-Distill-Qwen系列基于Qwen2.5系列（Apache 2.0许可证），DeepSeek-R1-Distill-Llama-8B基于Llama3.1-8B-Base（Llama3.1许可证），DeepSeek-R1-Distill-Llama-70B基于Llama3.3-70B-Instruct（Llama3.3许可证）。