DeepSeek-V4.1-Flash-1017-W4A8

DeepSeek-V4.1-Flash-1017-W4A8

本仓库为 ** deepseek-v4.1-flash-1017 ** 的 **W4A8 量化版本**：权重 4bit、激活 8bit，

由 **MindStudio ModelSlim** 量化工具链产出，权重显存占用约为 W8A8 版本的 **1/2**，

同时保持与 W8A8 基线基本一致的精度（详见精度评测）。

• 模型信息

项目 说明

• -- ---

基座模型 deepseek-v4.1-flash-1017 （W8A8）

量化格式 **W4A8**（权重 4bit / 激活 8bit）

量化工具 MindStudio ModelSlim

上下文长度 1,048,576 tokens（1M）

推理引擎 vLLM 0.30.0（已验证：TP8 + EP，OpenAI 兼容 API）

模型类型 推理型大语言模型（输出含独立 reasoning 字段）

支持语言 中、英（及其他基座模型支持的语言）

说明：本仓库只包含量化后的权重与配套配置文件，不包含训练数据。

量化算法、校准数据与分组粒度等实现细节由 MindStudio ModelSlim 的量化流程决定。

• 量化方案

W4A8 属于**权重低比特 + 激活 8bit** 的量化方案：

• *权重 4bit**：线性层权重压缩到 4bit，权重显存约为 FP16 的 1/4、W8A8 的 1/2，

在同等显存下可支持更大的 batch、更长的上下文或更少的卡数；

• *激活 8bit**：激活保持 8bit，避免激活量化带来的额外精度损失，

也是 W4A8 相对 W4A4 更稳的原因；

量化过程由 MindStudio ModelSlim 完成，目标是在压缩权重的同时尽可能保留原模型的输出分布；

具体校准数据、分组粒度与调优配置请参考量化工具文档。

• 快速开始

• 1 使用 vLLM 部署（OpenAI 兼容服务）

量化后端参数（如 --quantization ）随 vLLM / vLLM-Ascend 版本而异，

请以所用版本的官方文档为准；本仓库验证环境为 vLLM 0.30.0。

• 2 调用示例（Python / OpenAI SDK）

• 3 调用示例（curl）

• 4 关于 reasoning 字段

该模型为推理模型，思维链通过**独立字段**返回，不混入 content ：

生产环境建议只读取 content ； reasoning 可用于审计或调试。

注意 reasoning tokens 会计入 max tokens 预算。

• 精度评测

本仓库附带与 W8A8 基线的**配对同题对比评测**结果：同一批题目、同一 prompt、

同一解码参数（ temperature=0 ）分别请求两个模型，逐题配对比较。

• 1 评测设置

项目 说明

• -- ---

配对样本 **6,167 题**（10 个能力基准）+ **36 条**长上下文探针

能力覆盖 知识（MMLU / MMLU-Pro / C-Eval / CMMLU）、逻辑（BBH）、数学（GSM8K / MATH-500）、代码（HumanEval / MBPP）、指令遵循（IFEval）、长上下文（NIAH）

判分 选项匹配；数学 sympy 符号等价；代码沙箱执行单测；IFEval 25 类约束程序化校验

统计 配对 bootstrap（10,000 次）95%CI、精确 McNemar、Holm-Bonferroni 多重校正

公平性校验 两模型分词器 token id 完全一致、chat 模板 prompt tokens 一致

• 2 结果

基准 W8A8 **W4A8（本模型）** Δ (pp) 95% CI

• -- --- --- --- ---

MMLU 89.50% **89.77%** +0.27 [−0.74, +1.28]

MMLU-Pro 84.75% **84.25%** −0.50 [−2.25, +1.25]

C-Eval 91.63% **92.63%** +1.00 [−0.62, +2.62]

CMMLU 91.75% **92.50%** +0.75 [−0.75, +2.50]

BBH 91.67% **91.00%** −0.67 [−2.00, +0.67]

GSM8K 96.06% **95.98%** −0.08 [−0.76, +0.61]

MATH-500 94.60% **93.00%** −1.60 [−3.00, −0.20]

HumanEval 87.80% **86.59%** −1.22 [−4.88, +1.83]

MBPP 75.10% **74.71%** −0.39 [−2.72, +2.33]

IFEval 88.54% **86.88%** −1.66 [−4.07, +0.74]

NIAH（≤10.6 万 token 检索） 100% **100%** 0.00 —

汇总指标 W8A8 **W4A8** 变化

• -- --- --- ---

微平均准确率 90.81% **90.64%** **−0.16 pp**

宏平均准确率 90.95% **90.61%** **−0.34 pp**

显著退化的基准数（Holm α=0.05） — **0 / 10** 无

语言建模 PPL（WikiText-2） 1.393 **1.406** +0.9%

校准误差 ECE（MMLU） 0.1048 **0.1093** +0.0045

• 3 结论摘要

• *总体**：平均精度损失 **0.16–0.34 pp**，统计上不显著，落在测量噪声范围内；
• *知识/语言理解/中文**：无损失（−0.7 ~ +1.0 pp，均不显著）；
• *数学推理**：小幅退化（MATH-500 −1.60 pp，翻转方向 11:3），是最需关注的区域；
• *代码生成**：−0.4 ~ −1.2 pp，样本量不足以断言显著；
• *指令遵循**：−1.66 pp，其中约 3/4 可由"推理挤占输出预算"解释（放宽 max tokens 可回收）；
• *长上下文检索**：≤10.6 万 token 未发现退化（但任务已到天花板）；
• *概率质量**：PPL +0.9%、ECE +0.004，基于置信度的阈值策略可直接沿用。

• *评测边界**：同一模型 temperature=0 重跑仍有约 3.3% 的逐题不一致（推理服务批处理非确定性），

因此小于 ~2 pp 的差异不宜视为确定的能力差异；HumanEval（n=164）的置信区间约 ±3.4 pp。

• 推理参数建议

场景 建议

• -- ---

确定性输出 / 评测 temperature=0 、 top p=1

通用对话 temperature=0.6 ~ 1.0

数学 / 代码 / 复杂推理 预留 max tokens ≥ 4096 （思维链计入预算），必要时对 finish reason=length 重试一次

结构化输出（JSON 等） 建议加 schema 校验与一次重试；该场景 W4A8 相对 W8A8 略弱

长文档 已验证 10 万 token 级检索；更长的多跳/聚合任务建议自行验证

• 已知限制

• **推理长度敏感**：思维链较长， max tokens 过小会导致 content 为空（ finish reason=length ）；
• **结构化格式**：JSON、全大写、固定段落数等强格式约束的通过率略低于 W8A8；
• **长上下文**：仅验证到约 10.6 万 token 的检索任务，未覆盖超长多跳推理；
• **未评测项**：安全性、多语言（中英以外）、多模态、工具调用等未纳入本次评测；
• **量化固有风险**：低比特权重在训练分布外的输入上可能出现更大偏差，建议上线前用业务数据做 A/B。

• 复现评测

评测代码与逐题结果随测试报告一并归档（脚本包含：数据构建、并发推理、判分、统计分析）。

复现所需的关键设置： temperature=0 、 top p=1 、固定 max tokens 、同一 prompt 模板，

两模型使用相同分词器与 chat 模板。

• 许可与声明

本模型为 deepseek-v4.1-flash-1017 的量化版本，**使用须遵守基座模型的许可条款**

及魔搭社区规范；本仓库不授予额外的商业使用权利。

量化模型输出可能与基座模型存在差异，请自行评估是否满足业务要求。

本模型按"现状"提供，不对适用性、准确性作任何明示或暗示担保。

• 引用

附：上传清单（仓库根目录）

若 config.json 中缺少量化描述，建议补充 quantization config

（如 quant method 、 bits: 4 、 group size 等），便于推理框架自动识别。