Model details
模型介绍
中文整理DeepSeek-V4.1-Flash-1017-w8a8【地学大数据实验室】
感谢 **【地学大数据实验室】** 提供的环境与资源保障。
模型简介
DeepSeek-V4.1-Flash-1017-w8a8 是官方 DeepSeek-V4.1-Flash-1017 (552B MoE,原生 1M 上下文)的社区二次量化版本,权重 4-bit、激活 8-bit,面向昇腾 910B/910C 等显存受限平台部署。
官方 FP8/FP4 权重约 510 GB,w8a8 版本约 743 GB;转换为 w8a8 后体积约 **489 GB**,int4 专家权重每卡约 35 GB,可将专家收敛回节点内,显著降低跨机 all-to-all 通信压力。每卡 KV Cache 从 2.85 GiB 提升至 **10.84 GiB**,1M token 口径下最大并发提升至 **4.29 倍**。
量化格式
元素 格式 说明
weight int8 [out/2, in] 两个 int4 沿输出维打包
weight scale / weight offset f32 [out,1] offset 实测全零,等价对称量化
scale bias f32,up 类 [out,1] / down 类 [out,16] w8a8 特有零点补偿项
int4 取值范围 [-8, 7] 低半字节为偶索引,高半字节为奇索引
镜像
镜像已添加到模型仓库, images.tar.gz 中 **28 是量化镜像,29 是运行镜像**。
基础能力锚点
以官方 DeepSeek-V4.1-Flash-1017 为基底:552B 总参数 MoE,prefill 激活 8B、decode 激活 16B,原生 1M 上下文与图文多模态。关键基准:DeepSWE v1.1 77.0,Terminal-Bench 4.0 42.3,Apex Bench v1.1 72.1。量化后精度损失取决于转换工具链与校准数据,尚未公开系统性保真度评测。
优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。
完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行环境运行模型需要的设备、工具与依赖,以原作者说明为准。
授权范围是否允许商用、修改和分发,请查看模型许可证。
闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。
Problem with the information or download?
Sign in to submit feedback.