模型详情
模型介绍
中文整理# DeepSeek-V4 模型卡片
模型用途
DeepSeek-V4 系列是强大的混合专家（MoE）语言模型，包含两个版本：
- **DeepSeek-V4-Pro**：总参数 1.6 万亿，激活参数 490 亿
- **DeepSeek-V4-Flash**：总参数 2840 亿，激活参数 130 亿
两个模型均支持 **100 万 token** 的上下文长度。
## 主要能力
- *架构升级**
- **混合注意力机制**：结合压缩稀疏注意力（CSA）和深度压缩注意力（HCA），显著提升长上下文效率。在 100 万 token 上下文下，DeepSeek-V4-Pro 只需 DeepSeek-V3.2 单 token 推理 **27% 的 FLOPs** 和 **10% 的 KV 缓存**。
- **流形约束超连接（mHC）**：增强传统残差连接，提升层间信号传播的稳定性，同时保持模型表达能力。
- **Muon 优化器**：实现更快的收敛和更高的训练稳定性。
- *训练数据与后训练**
- 预训练使用超过 **32 万亿** 高质量多样化 token。
- 后训练采用两阶段范式：先通过监督微调和强化学习（GRPO）独立培养领域专家，再通过策略蒸馏统一整合到单一模型。
- *推理模式**
支持三种推理努力模式：
- **Non-think**：快速直观响应，适用于日常任务和低风险决策
- **Think**：深度逻辑分析，响应较慢但更准确，适用于复杂问题解决和规划
- **Think Max**：最大程度扩展推理能力，探索模型推理边界
## 输入输出
- *输入格式**：使用 OpenAI 兼容格式的消息，需通过提供的编码文件夹将消息转换为模型输入字符串。
- *输出格式**：文本输出，包含思考摘要（根据推理模式不同，思考摘要的详细程度也不同）。
运行要求
- *精度**
- Base 模型：FP8 Mixed
- 指令模型：FP4 + FP8 Mixed（MoE 专家参数使用 FP4 精度，其他参数使用 FP8）
- *推理配置建议**
- 采样参数：temperature = 1.0, top_p = 1.0
- Think Max 模式：建议将上下文窗口设置为至少 **38.4 万** token
- *本地运行**
- 需参考 inference 文件夹进行模型权重转换和交互式聊天演示
- 需参考编码文件夹进行消息编码
许可证
本仓库及模型权重采用 **MIT 许可证**。
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行环境
运行模型需要的设备、工具与依赖，以原作者说明为准。
授权范围
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。