Model details
模型介绍
中文整理DeepSeek-V4.1-Flash-1017-W4AFP8-mt
模型介绍
本模型为 **DeepSeek-V4.1-Flash-1017** MoE 量化版本(W4AFP8)。
源权重为 packed FP4 的 DeepSeek-V4.1-Flash-1017 ( num hidden layers = 40 , moe intermediate size = 2304 , n routed experts = 384 ,含 DSpark / MTP)。结构与 1017 相同,仅将 routed / MTP expert 权重量化为 W4AFP8。
量化方式
原始 expert 权重从 packed FP4(e2m1 + e8m0 scale)转换为 signed INT4
scale 的 group size 从源 FP4 的 32 调整为 128
recipe: direct-fp4-to-symmetric-int4-group128
仅转换 layers.*.ffn.experts.*.w{1,2,3} 与 mtp.*.ffn.experts.*.w{1,2,3}
Attention、shared expert、engram 及其他张量保持原样(含源模型 dense FP8 约定)
config.json 中 quantization config :
- quant method = w4afp8 , activation scheme = dynamic , fmt = e4m3
- moe group size = 128 (routed expert INT4 group)
- 保留源配置的 weight block size = [32, 32] 、 scale fmt = ue8m0 、 expert dtype = fp4 (供未改动的 dense / 兼容字段使用;与 MoE INT4 的 moe group size 并存)
权重约定
- .weight :两个 INT4 打包进一个 int8
- .weight scale inv : float32 ,shape [N, K/128]
- 示例 layers.0.ffn.experts.0.w1 : weight [2304, 2560] (逻辑 K=5120), weight scale inv [2304, 40]
- 示例 layers.0.ffn.experts.0.w2 : weight [5120, 1152] (逻辑 K=2304), weight scale inv [5120, 18]
- .input scale : bfloat16 占位(shape [1] )
量化分片: model-w4afp8-layer00 – layer39.safetensors (**40** 层 routed)、 model-w4afp8-mtp00 – mtp02.safetensors (3 个 MTP)
未改张量仍在 model-00001-of-00048.safetensors … model-00048-of-00048.safetensors
优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。
完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行环境运行模型需要的设备、工具与依赖,以原作者说明为准。
授权范围是否允许商用、修改和分发,请查看模型许可证。
闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。
Problem with the information or download?
Sign in to submit feedback.