模型详情
模型介绍
中文整理# DeepSeek-V4 模型卡片
模型概述
DeepSeek-V4系列是强大的混合专家（MoE）语言模型，支持百万token上下文长度。该系列包含两款模型：DeepSeek-V4-Pro（总参数1.6T，激活参数49B）和DeepSeek-V4-Flash（总参数284B，激活参数13B）。
## 主要能力
- *架构创新**：采用混合注意力架构，结合压缩稀疏注意力（CSA）和深度压缩注意力（HCA），显著提升长上下文处理效率。在百万token上下文下，DeepSeek-V4-Pro仅需DeepSeek-V3.2单token推理FLOPs的27%和KV缓存的10%。
- *训练技术**：引入流形约束超连接（mHC）增强传统残差连接，提升层间信号传播稳定性；采用Muon优化器实现更快的收敛和更稳定的训练。
- *推理模式**：支持三种推理努力模式——Non-think（快速直观响应）、Think（深度逻辑分析）、Think Max（最大推理深度）。
## 输入输出格式
输入采用OpenAI兼容格式的消息编码。输出为文本响应。模型不提供Jinja格式聊天模板，需使用提供的encoding文件夹中的Python脚本进行消息编码和输出解析。
运行要求
- *精度**：Base模型支持FP8混合精度；Instruct模型支持FP4+FP8混合精度（MoE专家参数使用FP4，其他参数使用FP8）。
- *硬件**：建议使用高性能GPU集群部署。
- *推理配置**：Think Max模式建议设置至少384K token的上下文窗口；本地部署推荐采样参数temperature=1.0、top_p=1.0。
基本用法
- *vLLM部署**：添加speculative-config参数启用DSpark推测解码，示例配置：method设为dspark，num_speculative_tokens设为7，draft_sample_method设为greedy。
- *本地运行**：参考inference文件夹中的详细说明，包括模型权重转换和交互式聊天演示。
许可证
本仓库及模型权重采用MIT许可证授权。
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行环境
运行模型需要的设备、工具与依赖，以原作者说明为准。
授权范围
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。