闲社服务运行正常AI智能体自动化平台
中文
语言 / Language简体中文SelectedEnglish

选择显示语言

DeepSeek-V4-Flash-SI

robinLua/DeepSeek-V4-Flash-SI

发布机构robinLua

下载访问条件魔搭来源

DeepSeek-V4-Flash · 流式推理模型 模型来源:DeepSeek-V4-Flash(284B 参数),经权重转换(FP4 量化专家 + per-layer safetensors)后,供本项目的流式推理引擎使用。 DeepSeek-V4-Flash 是 DeepSeek 系列的高效大语言模型,采用 MoE(Mixture of Experts)架构。模型总参数量 284B,每个 token 激活约 13B 参数。本目录为转换后的权重文件,专为流式推理引擎加载。

文字对话
模型详情

模型介绍

中文整理

DeepSeek-V4-Flash · 流式推理模型

模型来源:DeepSeek-V4-Flash(284B 参数),经权重转换(FP4 量化专家 + per-layer safetensors)后,供本项目的流式推理引擎使用。

参见源代码、技术文章。

模型概述

DeepSeek-V4-Flash 是 DeepSeek 系列的高效大语言模型,采用 MoE(Mixture of Experts)架构。模型总参数量 284B,每个 token 激活约 13B 参数。本目录为转换后的权重文件,专为流式推理引擎加载。

属性 值

  • ----- -----

模型架构 DeepseekV4ForCausalLM

总参数量 284B

激活参数量 ~13B / token

隐藏维度 4096

层数 43

注意力头数 64

头维度 512

词表大小 129,280

最大位置编码 1,048,576

上下文长度 4096(本推理实现)

量化格式 非专家 BF16 + 专家 FP4 E2M1

权重文件大小 ~150 GB(45 个 safetensors)

模型介绍

架构特性

Multi-head Latent Attention (MLA)**:Q 投影采用低秩分解( wq a → q norm → wq b ),秩 1024。KV 压缩为单一头维度 512 的向量,经 RoPE(YaRN 外推)编码后存入 cache。O 投影分 8 组低秩输出。MLA 将 KV cache 压缩至极低的 ~0.5 GB(43 层合计)。

Mixture of Experts (MoE)**:每层 256 个 routed expert + 1 个 shared expert,每个 token 经由 gate 网络选择 top-6 专家。前 3 层使用 hash routing(基于 token ID 确定性选择),其余 40 层使用 sqrtsoftplus 评分 top-k。routing scale 1.5,SwiGLU 激活限幅 ±10.0。

Hyper-Connections (HC)**:以 hc mult=4 维护 4 份隐藏状态副本。每层通过 Sinkhorn 归一化(20 次迭代)对 hc 副本加权组合(hc pre),attention/FFN 处理后扩展回 4 副本(hc post)。替代传统残差连接,增强梯度流动。

稀疏注意力 + KV 压缩**:

层 压缩比 策略

  • --- :---: ------

0, 1, 42 0 纯滑动窗口(128 tokens)

20 层 4 Indexer 评分 top-512 压缩 KV

20 层 128 密集压缩(gated pooling)

低精度计算**:非专家权重保持 BF16(9.77 GB),专家权重 FP4 E2M1 + F8 E8M0 block scale(每 32 个元素一组)。激活值在线 FP8 E4M3 量化(每 128 个元素一组,power-of-2 scale)。

推理架构(本实现)

本目录包含从 HuggingFace 格式转换而来的 per-layer safetensors 文件,专为 DGX Spark(128GB 统一内存)流式推理优化:

global.safetensors (2.0 GB):embed、head、norm、hc head 参数

model L{00-42}.safetensors (43 × ~3.4 GB):每层全部张量(attention、gate、shared expert、HC、256 expert)

mtp.safetensors (3.4 GB):MTP 推测解码头 + 256 expert

每个 model L{xx}.safetensors 自包含一层的完整数据——流式推理时只需 mmap 当前层文件,避免跨文件寻址。

模型训练

DeepSeek-V4-Flash 由 DeepSeek 团队训练,官方发布在 ModelScope。

关键训练配置(从 config 推断):

配置项 值

  • ----- -----

训练精度 BF16 + FP8 激活量化

激活量化 动态 FP8 E4M3,ue8m0 scale

权重 block size [128, 128]

优化器 未公开

上下文长度(训练) 65,536(经 YaRN 外推至 1M)

词表大小 129,280

BOS token (id=0)

EOS token (id=1)

模型推理

运行环境

依赖 版本要求

  • ----- ---------

PyTorch ≥ 2.11.0

TileLang == 0.1.9

transformers ≥ 5.0.0

CUDA 12.x(Blackwell SM100+)

推荐硬件 NVIDIA DGX Spark(128GB 统一内存)

最低内存 ~110 GB(含 90GB 专家缓存)

推理命令

推理模式

模式 命令 说明

  • ----- ------ ------

Eager 默认 三阶段异步流水线,每步实时加载专家

CUDA Graph --capturable --cudagraph MoE GEMM 路径图捕获,降低 kernel launch 开销

推测解码 --speculative MTP 头草稿 + 验证(实验性)

资源需求

指标 数值

  • ----- ------

非专家权重(常驻) 9.77 GB

专家缓存(LFU,默认 90 GB) 按需填充

KV Cache(43 层 MLA) ~0.5 GB

激活值 + 临时缓冲 ~5 GB

PyTorch/CUDA 框架 ~5 GB

  • *总内存** **~110 GB**

模型效果

性能基准(DGX Spark, 2026-05-05)

指标 数值

  • ----- ------

热缓存解码速度 2.31 tok/s

冷启动首 token 延迟 3.6s

专家缓存热命中率 96.1%

上下文长度 4096 tokens

CUDA Graph 加速 ~2.16 tok/s(eager 的 93.5%)

解码瓶颈(433ms/步)

Python 开销为主要瓶颈。CUDA Graph 部分缓解了 kernel launch 开销,后续优化方向为减少 Python 循环和 dict 操作。

质量标准

输出质量经端到端验证,与 eager 模式 diff=0.0

Gate 每步实时计算(无 one-step-lag),专家选择精度与 StreamingMoE 等价

支持多轮对话:首轮 warmup + capture graph,后续轮次直接图解码

支持思考模式(thinking/max)、top-p 核采样、温度调节

文件清单

转换工具链位于 src/cleanup and convert.sh ,支持从 ModelScope HuggingFace 格式转换。

优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。

你将获得什么

完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。

完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。

使用前须知

运行环境

运行模型需要的设备、工具与依赖,以原作者说明为准。

授权范围

是否允许商用、修改和分发,请查看模型许可证。

闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。

返回顶部