Qwen3.6-35B-A3B-w8a8

Qwen3.6-35B-A3B-w8a8

• 基本信息

项目 信息

:-------------------: :----------------------------------------------------------:

原始模型名 Qwen3.6-35B-A3B

原始模型链接 Qwen3.6-35B-A3B

msmodelslim commit id 99394e9404ed72d811205d7a30a6ae883653200a

精度测试机型 Atlas 800T A3 1台

精度测试平台 docker vllm-ascend

版本 vllm-ascend:v0.18.0rc1

链接 quay.io/ascend/vllm-ascend:v0.18.0rc1-a3-openeuler

2 量化脚本：

该模型和Qwen3.5-35B-A3B结构一致，msmodelslim已支持一键量化：

3 精度测试结果

模型名 量化格式 数据集 测试精度 % 本地浮点精度 %

:------------------: :------: :----: :--------: :------------:

Qwen3.6-35B-A3B-w8a8 w8a8 GPQA 83.232 82.997

• -max-model-len 256000 ，精度存在波动，建议多次测试。