DeepSeek-V3

# DeepSeek-V3 模型卡片

模型用途

DeepSeek-V3 是一个强大的混合专家（Mixture-of-Experts，MoE）语言模型，总参数规模为 671B，每个 token 激活 37B 参数。该模型旨在实现高效推理和低成本训练，在多项基准测试中表现优于其他开源模型，性能接近领先的闭源模型。

## 主要能力

• *架构创新**

• 采用 Multi-head Latent Attention（MLA）和 DeepSeekMoE 架构
• 首创无辅助损失（auxiliary-loss-free）的负载均衡策略，最大程度减少因鼓励负载均衡而导致的性能下降
• 引入多 token 预测（Multi-Token Prediction，MTP）训练目标，可用于推理加速的投机解码

• *预训练**

• 使用 FP8 混合精度训练框架，首次在大规模模型上验证 FP8 训练的可行性和有效性
• 通过算法、框架和硬件的协同设计，克服跨节点 MoE 训练中的通信瓶颈，实现近乎完全的计算-通信重叠
• 在 14.8 万亿高质量 token 上完成预训练

• *后训练**

• 引入创新方法将 DeepSeek-R1 系列模型的推理能力蒸馏到 DeepSeek-V3
• 有效整合 R1 的验证和反思模式，显著提升推理性能，同时控制输出风格和长度

## 输入输出

• **上下文长度**：128K
• **输入格式**：文本
• **输出格式**：文本
• **支持方式**：可通过 DeepSeek 官网 chat.deepseek.com 对话，也可通过 DeepSeek 平台 platform.deepseek.com 调用 API

运行要求

• *硬件要求**

• 训练总计消耗约 2.788M H800 GPU 小时
• 预训练消耗 2.664M H800 GPU 小时，后训练阶段仅需 0.1M GPU 小时

• *本地部署支持**

• DeepSeek-Infer Demo：提供 FP8 和 BF16 推理的轻量级演示
• SGLang：全面支持 BF16 和 FP8 推理模式
• LMDeploy：支持 FP8 和 BF16 高效推理
• TensorRT-LLM：支持 BF16 推理及 INT4/8 量化
• vLLM：支持 FP8 和 BF16 模式的张量并行和流水线并行
• AMD GPU：通过 SGLang 支持 BF16 和 FP8 模式
• 华为 Ascend NPU：支持 BF16 版本运行

基本用法

• **在线对话**：访问 chat.deepseek.com 与模型交互
• **API 调用**：通过 platform.deepseek.com 使用 OpenAI 兼容 API
• **本地部署**：根据硬件条件选择上述推理框架进行本地部署

许可证

• 代码仓库采用 MIT 许可证
• DeepSeek-V3 Base/Chat 模型的使用受模型许可证约束
• DeepSeek-V3 系列（包括 Base 和 Chat）支持商业使用