模型介绍
中文整理DeepSeek-V4 模型卡片
模型用途
DeepSeek-V4系列是强大的混合专家（MoE）语言模型，支持百万token上下文长度。该系列包含两个版本：DeepSeek-V4-Pro（总参数1.6T，激活参数49B）和DeepSeek-V4-Flash（总参数284B，激活参数13B）。模型适用于代码生成、数学推理、Agent任务、长上下文处理等多种场景。
主要能力
架构升级：采用混合注意力机制，结合压缩稀疏注意力（CSA）和深度压缩注意力（HCA），在百万token上下文下，Pro版本仅需DeepSeek-V3.2单token推理FLOPs的27%和KV缓存的10%。引入流形约束超连接（mHC）增强传统残差连接，提升信号传播稳定性。使用Muon优化器实现更快收敛和更稳定训练。
预训练数据：超过32T高质量多样化tokens。后训练采用两阶段范式：先通过SFT和GRPO独立培养领域专家，再通过策略蒸馏统一整合。
推理模式：支持三种推理努力模式——Non-think（快速直观响应）、Think（深度逻辑分析）、Think Max（最大推理深度）。
输入输出
输入格式：OpenAI兼容的消息格式，需使用提供的encoding文件夹中的Python脚本进行编码。输出为文本响应，支持摘要和思考过程两种格式。
运行要求
精度：FP8混合精度（Base版本）或FP4+FP8混合精度（MoE专家参数使用FP4，其他参数使用FP8）。Think Max模式建议设置至少384K token的上下文窗口。本地部署推荐采样参数：temperature=1.0，top_p=1.0。
基本用法
参考inference文件夹获取本地运行详细说明，包括模型权重转换和交互式聊天演示。参考encoding文件夹获取完整的消息编码文档。
许可证
本仓库及模型权重采用MIT许可证授权。
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。