DeepSeek-R1-Distill-Llama-70B

DeepSeek-R1 模型卡片

模型用途

DeepSeek-R1是一个推理模型系列，主要用于数学、代码和推理任务。该系列包括DeepSeek-R1-Zero和DeepSeek-R1两个基础模型，以及六个基于Llama和Qwen蒸馏的Dense模型。

主要能力

DeepSeek-R1-Zero通过大规模强化学习训练，无需监督微调作为前置步骤，展现出强大的推理能力。它具备自我验证、反思和生成长链思考（Chain-of-Thought）的能力。DeepSeek-R1在此基础上增加了冷启动数据，进一步提升了推理性能，在数学、代码和推理任务上达到与OpenAI-o1相当的性能表现。

蒸馏模型方面，DeepSeek-R1-Distill-Qwen-32B在各项基准测试中超越OpenAI-o1-mini，实现了Dense模型的新最先进水平。

输入输出

输入格式：文本提示，建议将所有指令包含在用户提示中，避免添加系统提示

输出格式：文本响应，支持128K上下文长度

温度设置：建议范围0.5-0.7，推荐值为0.6

对于数学问题，建议在提示中加入"请逐步推理，并将最终答案放在\boxed{}中"

运行要求

DeepSeek-R1和DeepSeek-R1-Zero：

总参数：671B

激活参数：37B

上下文长度：128K

基于DeepSeek-V3-Base训练

蒸馏模型参数：

DeepSeek-R1-Distill-Qwen-1.5B

DeepSeek-R1-Distill-Qwen-7B

DeepSeek-R1-Distill-Llama-8B

DeepSeek-R1-Distill-Qwen-14B

DeepSeek-R1-Distill-Qwen-32B

DeepSeek-R1-Distill-Llama-70B

基本用法

蒸馏模型可像Qwen或Llama模型一样使用，可通过vLLM或SGLang启动服务。

为确保模型进行充分推理，建议在每个输出的开头强制使用"\ \n"开始。

评估模型性能时，建议进行多次测试并取平均值。

限制

DeepSeek-R1-Zero存在无限重复、可读性差、语言混合等问题。DeepSeek-R1通过引入冷启动数据部分解决了这些问题。

模型在响应某些查询时可能会跳过思考模式（即输出"\ \n\n\ "），这会影响模型性能。

许可证

本代码仓库和模型权重采用MIT许可证。

DeepSeek-R1系列支持商业使用，允许任何修改和衍生工作，包括但不限于用于训练其他LLM的蒸馏。

具体蒸馏模型许可证：

DeepSeek-R1-Distill-Qwen-1.5B/7B/14B/32B基于Qwen2.5系列，原始许可证为Apache 2.0

DeepSeek-R1-Distill-Llama-8B基于Llama3.1-8B-Base，原始许可证为llama3.1

DeepSeek-R1-Distill-Llama-70B基于Llama3.3-70B-Instruct，原始许可证为llama3.3