模型介绍
中文整理DeepSeek-V4.1-Flash-1017 · FastLLM 2.5bit(180GB 非 Engram)
这是 **FastLLM 专用格式**的 DeepSeek-V4.1-Flash-1017 量化导出,不是 Hugging Face
Transformers 原生权重,不能直接用 Transformers、vLLM 或 SGLang 加载。
本仓库提供约 180 GB 非 Engram 权重的 2.5bit 版本。FastLLM 导出同时包含独立的
Engram 权重,因此仓库的逻辑文件总量为 **356.4 GiB**,不是 180 GiB。模型目录共
339 个文件,权重文件合计 **382,682,741,864 bytes**。导出完整且自包含,权重没有
symlink。
模型规格
架构: DeepseekV41ForCausalLM / deepseek v41
上下文: 1,048,576 tokens(1M)
词表: 129,280
MoE:384 个 routed experts,每 token 选择 6 个,另有 1 个 shared expert
导出格式:FastLLM
非 Engram 权重: 179,609,664,288 bytes (约 167.3 GiB)
Engram 权重: 203,073,077,576 bytes (约 189.1 GiB)
导出工具:FastLLM commit 999039d20049a18b4924e881bb8822bfe5a55d84
导出状态: complete: true 、 self contained: true 、 requantized: false
主要目录:
量化类型及 tensor 数量:
类型 数量
- -- ---:
Q2 0 38,016
Q3 K 8,832
Q4 K 818
运行要求
至少预留 **356.4 GiB** 的逻辑文件空间。
需要包含上述 commit 或兼容版本的 FastLLM 构建。请按 FastLLM 上游说明安装
对应的 ftllm 环境。
实际显存、主机内存和并发能力取决于所选 FastLLM 后端、设备放置与上下文长度,
不应只按非 Engram 的 180 GB 估算。
加载方式请按所使用的 FastLLM 版本及其官方文档配置。本仓库只提供模型权重和导出
元数据,不附带 FastLLM 运行环境。
说明与许可
本仓库是上游 DeepSeek 模型的第三方量化/格式转换导出,不是 DeepSeek 官方发布。
请同时遵守上游模型的使用条款。仓库内附带 LICENSE 为 MIT License,版权归
DeepSeek 所有。
优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。
完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖,以原作者说明为准。
是否允许商用、修改和分发,请查看模型许可证。
闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。
Problem with the information or download?
Sign in to submit feedback.
