DeepSeek-V4-Flash-w8a8-mtp

DeepSeek-V4-Flash-w8a8-mtp

• 基本信息

项目 信息

:------: :------:

原始模型名 DeepSeek-V4-Flash

原始模型链接 deepseek-ai/DeepSeek-V4-Flash

精度测试机型 Atlas 800T A2 1台

精度测试平台 docker vllm-ascend

版本 vllm-ascend:v0.13.0rc3

链接 quay.m.daocloud.io/ascend/vllm-ascend:v0.13.0rc3

2 量化脚本：

现已集成一键量化

3 精度测试结果

模型名 量化格式 数据集 测试精度 % 官方精度 % 备注

:------: :------: :------: :------: :------: :------:

DeepSeek-V4-Flash-w8a8-mtp w8a8 gpqa 71.21 71.2 V4-Flash Non-Think

DeepSeek-V4-Flash-w8a8-mtp w8a8 mmlupro 82.85 83.0 V4-Flash Non-Think

DeepSeek-V4-Flash-w8a8-mtp w8a8 mmlupro 85.86 86.2 V4-Flash Max

使用ais bench,其中 Non-Think 模式 max out len = 65536 ， Max 模式 max out len = 131072 。精度存在波动，建议多次测试。

4 思考模式开启方法

• 1 Curl指令：

Non-Think**： 不加思考参数

High**： "chat template kwargs": {"thinking": true, "reasoning effort": "high"}

Max**： "chat template kwargs": {"thinking": true, "reasoning effort": "max"}

• 2 Ais bench Benchmark：

Non-Think**： 不加思考参数

High**：

Max**：