闲社服务运行正常AI智能体自动化平台
中文
语言 / Language简体中文SelectedEnglish

选择显示语言

Qwen3.8-27B-MLP-W4A8-Ascend

neusemi/Qwen3.8-27B-MLP-W4A8-Ascend

发布机构neusemi

下载访问条件魔搭来源

Qwen3.8-27B-MLP-W4A8-Ascend 本模型基于 Qwen3.8-27B,面向 Ascend 910B 推理场景,采用 W4A8 DYNAMIC 混合精度量化格式。 本版本对语言模型的全部 64 个 Transformer 层进行 MLP 投影量化:

图文理解
模型详情

模型介绍

中文整理

Qwen3.8-27B-MLP-W4A8-Ascend

模型说明

本模型基于 Qwen3.8-27B,面向 Ascend 910B 推理场景,采用 **W4A8 DYNAMIC** 混合精度量化格式。

本版本对语言模型的全部 64 个 Transformer 层进行 MLP 投影量化:

共量化:

以下模块保持原精度:

Attention

Embedding

lm head

MTP

Vision encoder

LayerNorm 及其他非 MLP 模块

量化配置

项目 配置

  • -- ---

量化类型 W4A8 DYNAMIC

权重 INT4,per-channel

激活 INT8,per-token dynamic

权重量化算法 SSZ

激活量化算法 MinMax

msModelSlim 格式版本 1.0.0

group size 0,表示 per-channel

权重量化描述 AscendV1

权重文件 8 个 safetensors 分片

量化权重大小 约 28 GB

量化描述文件:

实际量化权重包含以下参数:

本模型没有人工修改量化描述文件,也没有伪造 group size 或补充 second-level scale 参数。

推理环境

已验证环境:

项目 版本或配置

  • -- ---

硬件 2 x Ascend 910B4-1

Tensor Parallel 2

vLLM 0.26.0

vLLM-Ascend 0.26.0rc1

CANN 容器内 Ascend CANN 9.1.0

Docker 镜像 quay.io/ascend/vllm-ascend:v0.26.0rc1-openeuler

max model len 4096

gpu memory utilization 0.85

精度结果

测试数据为 GSM8K 测试集固定抽样 200 条,使用相同 workload hash 和相同生成配置。

测试配置:

项目 配置

  • -- ---

数据集 GSM8K

样本数 200

max tokens 512

temperature 0.0

seed 1024

enable thinking false

判分规则 仅识别 #### 或 \boxed{} 最终答案

request errors 0

结果:

模型 正确数 准确率

  • -- ---: ---:

Qwen3.8-27B-BF16 177/200 88.50%

Qwen3.8-27B-W4A8-L0-63 178/200 89.00%

优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。

你将获得什么

完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。

完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。

使用前须知

运行环境

运行模型需要的设备、工具与依赖,以原作者说明为准。

授权范围

是否允许商用、修改和分发,请查看模型许可证。

闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。

返回顶部