GLM-5.3-w4a4c8-mxfp4

GLM-5.3-w4a4c8-mxfp4 量化模型

• 基本信息

项目 信息

• ----- ------

原始模型名 GLM-5.3（BF16， GlmMoeDsaForCausalLM ：78 层主模型 + 1 MTP 层，其中 22 层为 DSA 稀疏注意力层；MoE 256 专家 top-8，hidden size 6144，前 3 层 dense）

原始模型链接 https://www.modelscope.cn/models/ZhipuAI/GLM-5.3-BF16

量化工具 msModelSlim

量化配置 lab practice/glm 5 2/glm 5 3 w4a4c8 mxfp4.yaml

量化方案说明 https://gitcode.com/Ascend/msmodelslim/pull/1007

落盘格式 AscendV1（safetensors，单分片 4 GB）

测试机型 Atlas A3 系列（Atlas 350）

验证环境 vLLM-Ascend

• 量化方案

• 1 量化配置

项 配置

• --- ------

MoE 专家（ *mlp.experts.* ） W4A4 MXFP4，weight/act 均 per block（group size=32），symmetric minmax

self attn / mlp 非 experts W8A8 MXFP8，weight/act 均 per block（group size=32），symmetric minmax

DSA 层 indexer FP8 E4M3，per token（动态）

KV Cache INT8（C8，部署侧使能）

量化类型 W4A4C8 （ model quant type: W4A4 MXFP4 ）

旋转 QuaRot（ is rot used=true ， rot.safetensors + optional/quarot.safetensors 随产物发布）

• 2 量化流程（spec.process）

• *QuaRot 正交旋转**：对权重左旋、激活右旋（W′ = QᵀW，X′ = XQ，QᵀQ = I，计算严格等价），将集中在少数通道的激活离群值分散到多通道，为低比特量化提供平滑分布；
• *Flex SmoothQuant**：在 norm-linear / ov 子图上引入互逆缩放（X′ = X/s，W′ = W·s），将激活幅度等价迁移到权重侧；
• *fa3 quant**：DSA 层 indexer 用 FP8 E4M3 per token， knope 投影用 MXFP8 per block；
• *linear quant**： *self attn* （排除保护对象）与 *mlp* （非 experts）走 MXFP8， *mlp.experts.* 走 MXFP4。

• 3 分层量化范围（实测 desc 统计）

处理对象 量化类型 tensor 条目

• -------- --------- ------------
• mlp.experts.* （MoE 专家，76 层 × 256 专家） W4A4 MXFP4 （weight U8 4bit 打包 + weight scale U8，g32） 116,737
• self attn* （排除 *kv b proj 、 *wk 、 *weights proj ）+ *mlp* 非 experts + knope W8A8 MXFP8 （weight F8 E4M3 + weight scale U8，g32） 1,150

indexer（16 个 DSA 层，动态激活） FP8 DYNAMIC 16 层

KV Cache INT8 DYNAMIC 1

保护对象 FLOAT （F32/BF16） 644

• 4 保护对象（保留高精度）

gate （MoE 路由）：保证专家路由稳定；

kv b proj 、indexer 的 wk / weights proj ：避免长序列检索精度劣化；

首尾敏感层： model.layers.{0,1,2,70,74,75,76,77,78} 整层排除（含 MTP 层 78 的 indexer）；

embedding / lm head / 各类 norm / e score correction bias ：保留浮点。

• 5 校准与落盘

校准数据： qwen3 cot w4a4.json （与配置同目录自动匹配）；

保存方式： ascendv1 saver ， part file size: 4 （GB），共 104 分片； quant model description.json 记录逐 tensor 量化类型，供部署侧加载。

• 产物实测校验

校验项 结果

• ------ ------

文件构成 117 文件 / 389.6 GiB（104 分片 + index + description + rot + optional/quarot + tokenizer/config + README + .gitattributes）

tensor 总数 118,531（index）+ QuaRot 旋转矩阵 1 + optional/quarot 1

量化参数组 58,943 组 weight + weight scale 全配对无缺失（MXFP4 58,368 组 U8/U8 + MXFP8 575 组 F8 E4M3/U8），group size=32 的 shape 关系全部成立

dtype 分布 U8 117,311 / F8 E4M3 575 / F32 439 / BF16 207

total size 配平 分片合计 418,541,953,024 B + rot 75,497,472 B + quarot 150,994,944 B = 418,768,445,440 B，与逐文件实算精确一致

与 BF16 原始权重对比 59,585 个 tensor 全覆盖（同名 + 406 统一重命名），逐层核对无缺失

safetensors 结构 106 个权重文件逐文件 header / data offsets / 文件大小校验通过，无截断、无损坏

发布校验 上传后远端与本地逐文件 SHA256 完全一致（117/117）

• *tensor 重命名说明**：量化工具链对部分 tensor 做了统一重命名（如 hc attn base/fn/scale → attn hc.base/fn/scale 、 self attn.A log → self attn.forget gate.A log 等，共 406 个），属预期行为，部署框架按新命名加载。

• 量化复现

• 1 安装 msModelSlim

• 2 一键量化（自动匹配 glm 5 3 w4a4c8 mxfp4 配置）

${MODEL PATH} ：GLM-5.3 BF16 权重路径； ${SAVE PATH} ：量化产物保存路径；

校准数据 qwen3 cot w4a4.json 由配置自动匹配，无需手动指定。

• 部署

（待补充）

• 注意事项

gate 、 kv b proj 、indexer 的 wk / weights proj 及首尾敏感层为保护对象，请勿在自定义配置中将其纳入量化范围；

如自定义量化层范围（include/exclude），平滑参数与量化器、位宽强耦合，调整后建议重新执行参数搜索；

KV Cache INT8（C8）由 vLLM-Ascend 部署侧使能，无需额外量化配置。