闲社服务运行正常AI智能体自动化平台
中文
语言 / Language简体中文SelectedEnglish

选择显示语言

DeepSeek-V4.1-Flash-1017-W4AFP8-mt

MooreThreads/DeepSeek-V4.1-Flash-1017-W4AFP8-mt

发布机构MooreThreads

下载访问条件魔搭来源

DeepSeek-V4.1-Flash-1017-W4AFP8-mt 本模型为 DeepSeek-V4.1-Flash-1017 MoE 量化版本(W4AFP8)。 源权重为 packed FP4 的 DeepSeek-V4.1-Flash-1017 ( num hidden layers = 40 , moe intermediate size = 2304 , n routed experts = 384 ,含 DSpark / MTP)。结构与 1017 相同,仅将 r

文字对话
模型详情

模型介绍

中文整理

DeepSeek-V4.1-Flash-1017-W4AFP8-mt

模型介绍

本模型为 **DeepSeek-V4.1-Flash-1017** MoE 量化版本(W4AFP8)。

源权重为 packed FP4 的 DeepSeek-V4.1-Flash-1017 ( num hidden layers = 40 , moe intermediate size = 2304 , n routed experts = 384 ,含 DSpark / MTP)。结构与 1017 相同,仅将 routed / MTP expert 权重量化为 W4AFP8。

量化方式

原始 expert 权重从 packed FP4(e2m1 + e8m0 scale)转换为 signed INT4

scale 的 group size 从源 FP4 的 32 调整为 128

recipe: direct-fp4-to-symmetric-int4-group128

仅转换 layers.*.ffn.experts.*.w{1,2,3} 与 mtp.*.ffn.experts.*.w{1,2,3}

Attention、shared expert、engram 及其他张量保持原样(含源模型 dense FP8 约定)

config.json 中 quantization config :

  • quant method = w4afp8 , activation scheme = dynamic , fmt = e4m3
  • moe group size = 128 (routed expert INT4 group)
  • 保留源配置的 weight block size = [32, 32] 、 scale fmt = ue8m0 、 expert dtype = fp4 (供未改动的 dense / 兼容字段使用;与 MoE INT4 的 moe group size 并存)

权重约定

  • .weight :两个 INT4 打包进一个 int8
  • .weight scale inv : float32 ,shape [N, K/128]
  • 示例 layers.0.ffn.experts.0.w1 : weight [2304, 2560] (逻辑 K=5120), weight scale inv [2304, 40]
  • 示例 layers.0.ffn.experts.0.w2 : weight [5120, 1152] (逻辑 K=2304), weight scale inv [5120, 18]
  • .input scale : bfloat16 占位(shape [1] )

量化分片: model-w4afp8-layer00 – layer39.safetensors (**40** 层 routed)、 model-w4afp8-mtp00 – mtp02.safetensors (3 个 MTP)

未改张量仍在 model-00001-of-00048.safetensors … model-00048-of-00048.safetensors

优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。

你将获得什么

完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。

完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。

使用前须知

运行环境

运行模型需要的设备、工具与依赖,以原作者说明为准。

授权范围

是否允许商用、修改和分发,请查看模型许可证。

闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。

返回顶部