模型详情
模型介绍
中文整理# DeepSeek-V4 模型卡片
模型概述
DeepSeek-V4系列是强大的混合专家（MoE）大型语言模型，支持百万token上下文长度。该系列包含两个版本：DeepSeek-V4-Pro（总参数1.6T，激活参数49B）和DeepSeek-V4-Flash（总参数284B，激活参数13B）。
## 主要能力
- *长上下文处理**：采用混合注意力架构（Compressed Sparse Attention与Heavied Compressed Attention结合），在100万token上下文设置下，DeepSeek-V4-Pro仅需DeepSeek-V3.2单token推理FLOPs的27%和KV缓存的10%。
- *架构升级**：引入Manifold-Constrained Hyper-Connections（mHC）增强传统残差连接，提升信号传播稳定性；采用Muon优化器实现更快的收敛和更高的训练稳定性。
- *推理模式**：支持三种推理 effort 模式——Non-think（快速直观响应）、Think（深度逻辑分析）、Think Max（最大推理深度）。
## 输入输出
- *输入格式**：支持OpenAI兼容格式的文本消息，具体编码方式请参考encoding文件夹中的脚本和测试用例。
- *输出格式**：文本响应。根据选择的推理模式，输出可能包含思考过程摘要。
运行要求
- *硬件配置**：建议使用高性能GPU集群运行。具体硬件配置请参考vLLM配方文档。
- *参数设置**：本地部署建议采样参数设置为temperature=1.0，top_p=1.0。Think Max推理模式建议将上下文窗口设置为至少384K tokens。
- *精度支持**：支持FP8混合精度和FP4+FP8混合精度（MoE专家参数使用FP4，其他参数使用FP8）。
基本用法
- *vLLM运行**：可通过vLLM部署，添加投机解码配置提升推理效率。示例配置：--speculative-config '{"method":"dspark","num_speculative_tokens":7,"draft_sample_method":"greedy"}'
- *本地运行**：请参考inference文件夹中的详细说明，包括模型权重转换和交互式聊天演示。
- *聊天模板**：本版本不包含Jinja格式聊天模板，需使用encoding文件夹中的Python脚本进行消息编码。
许可证
本仓库及模型权重采用MIT许可证。
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行环境
运行模型需要的设备、工具与依赖，以原作者说明为准。
授权范围
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。