All systems operationalAI Agent Automation Platform
English
Language简体中文EnglishSelected

Choose your language

DeepSeek-V4.1-Flash-1017-Fastllm-2.5bit

huangyuyang/DeepSeek-V4.1-Flash-1017-Fastllm-2.5bit

Publisherhuangyuyang

Download access requirementsModelScope source

DeepSeek-V4.1-Flash-1017 · FastLLM 2.5bit(180GB 非 Engram) 这是 FastLLM 专用格式的 DeepSeek-V4.1-Flash-1017 量化导出,不是 Hugging Face Transformers 原生权重,不能直接用 Transformers、vLLM 或 SGLang 加载。

Text Chat
Model details

模型介绍

中文整理

DeepSeek-V4.1-Flash-1017 · FastLLM 2.5bit(180GB 非 Engram)

这是 **FastLLM 专用格式**的 DeepSeek-V4.1-Flash-1017 量化导出,不是 Hugging Face

Transformers 原生权重,不能直接用 Transformers、vLLM 或 SGLang 加载。

本仓库提供约 180 GB 非 Engram 权重的 2.5bit 版本。FastLLM 导出同时包含独立的

Engram 权重,因此仓库的逻辑文件总量为 **356.4 GiB**,不是 180 GiB。模型目录共

339 个文件,权重文件合计 **382,682,741,864 bytes**。导出完整且自包含,权重没有

symlink。

模型规格

架构: DeepseekV41ForCausalLM / deepseek v41

上下文: 1,048,576 tokens(1M)

词表: 129,280

MoE:384 个 routed experts,每 token 选择 6 个,另有 1 个 shared expert

导出格式:FastLLM

非 Engram 权重: 179,609,664,288 bytes (约 167.3 GiB)

Engram 权重: 203,073,077,576 bytes (约 189.1 GiB)

导出工具:FastLLM commit 999039d20049a18b4924e881bb8822bfe5a55d84

导出状态: complete: true 、 self contained: true 、 requantized: false

主要目录:

量化类型及 tensor 数量:

类型 数量

  • -- ---:

Q2 0 38,016

Q3 K 8,832

Q4 K 818

运行要求

至少预留 **356.4 GiB** 的逻辑文件空间。

需要包含上述 commit 或兼容版本的 FastLLM 构建。请按 FastLLM 上游说明安装

对应的 ftllm 环境。

实际显存、主机内存和并发能力取决于所选 FastLLM 后端、设备放置与上下文长度,

不应只按非 Engram 的 180 GB 估算。

加载方式请按所使用的 FastLLM 版本及其官方文档配置。本仓库只提供模型权重和导出

元数据,不附带 FastLLM 运行环境。

说明与许可

本仓库是上游 DeepSeek 模型的第三方量化/格式转换导出,不是 DeepSeek 官方发布。

请同时遵守上游模型的使用条款。仓库内附带 LICENSE 为 MIT License,版权归

DeepSeek 所有。

优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。

你将获得什么

完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。

完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。

使用前须知

运行环境

运行模型需要的设备、工具与依赖,以原作者说明为准。

授权范围

是否允许商用、修改和分发,请查看模型许可证。

闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。

Back to top