Model details
模型介绍
中文整理Qwen3.8-27B-MLP-W4A8-Ascend
模型说明
本模型基于 Qwen3.8-27B,面向 Ascend 910B 推理场景,采用 **W4A8 DYNAMIC** 混合精度量化格式。
本版本对语言模型的全部 64 个 Transformer 层进行 MLP 投影量化:
共量化:
以下模块保持原精度:
Attention
Embedding
lm head
MTP
Vision encoder
LayerNorm 及其他非 MLP 模块
量化配置
项目 配置
量化类型 W4A8 DYNAMIC
权重 INT4,per-channel
激活 INT8,per-token dynamic
权重量化算法 SSZ
激活量化算法 MinMax
msModelSlim 格式版本 1.0.0
group size 0,表示 per-channel
权重量化描述 AscendV1
权重文件 8 个 safetensors 分片
量化权重大小 约 28 GB
量化描述文件:
实际量化权重包含以下参数:
本模型没有人工修改量化描述文件,也没有伪造 group size 或补充 second-level scale 参数。
推理环境
已验证环境:
项目 版本或配置
硬件 2 x Ascend 910B4-1
Tensor Parallel 2
vLLM 0.26.0
vLLM-Ascend 0.26.0rc1
CANN 容器内 Ascend CANN 9.1.0
Docker 镜像 quay.io/ascend/vllm-ascend:v0.26.0rc1-openeuler
max model len 4096
gpu memory utilization 0.85
精度结果
测试数据为 GSM8K 测试集固定抽样 200 条,使用相同 workload hash 和相同生成配置。
测试配置:
项目 配置
数据集 GSM8K
样本数 200
max tokens 512
temperature 0.0
seed 1024
enable thinking false
判分规则 仅识别 #### 或 \boxed{} 最终答案
request errors 0
结果:
模型 正确数 准确率
Qwen3.8-27B-BF16 177/200 88.50%
Qwen3.8-27B-W4A8-L0-63 178/200 89.00%
优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。
完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行环境运行模型需要的设备、工具与依赖,以原作者说明为准。
授权范围是否允许商用、修改和分发,请查看模型许可证。
闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。
Problem with the information or download?
Sign in to submit feedback.