模型介绍
中文整理GLM-5.3-W8A8C8-mxfp8 量化模型
- 基本信息
项目 信息
- ----- ------
原始模型名 GLM-5.3(原生 FP8)
原始模型链接 https://www.modelscope.cn/models/ZhipuAI/GLM-5.3
量化工具 msModelSlim
量化配置 lab practice/glm 5 2/glm 5 3 w8a8c8 mxfp8.yaml (GLM-5.3 配置位于 glm 5 2 目录)
量化方案说明 https://gitcode.com/Ascend/msmodelslim/pull/917
落盘格式 AscendV1(safetensors,单分片 4 GB)
测试机型 Atlas 350
验证环境 vLLM-Ascend
- 本次更新说明
本仓库为**首次发布**(2026-09-26):193 个分片(约 4 GB/片),共 732.06 GiB。
采用 PR #917(2026-09-10 合入)引入的 ** glm 5 3 w8a8c8 mxfp8 ** 配置量化,量化格式为 **W8A8C8 MXFP8**(带 KV Cache 量化);
注意区分同目录下的 glm 5 3 w8a8 mxfp8.yaml ( kv cache: False ,无 fa3 quant 两段、无 C8),本仓库产物为带 C8 的 w8a8c8 mxfp8 一支;
量化流程、量化范围与 GLM-5.2-W8A8C8-mxfp8 完全一致(两模型架构相同,两仓库 quant model description.json 逐字节一致)。
- 量化方案
- 1 量化配置
项 配置
- --- ------
权重 MXFP8,per block(32),对称 minmax
激活 MXFP8,per block(32),对称 minmax,动态
Indexer q/k(稀疏索引) FP8 E4M3,per token,对称
KV Cache(C8) MXFP8,per-tile(128),对称;量化阶段对 knope 通路逐 tile 模拟并登记量化类型,部署时由推理框架执行
量化类型 W8A8 MXFP8 (58,943 组两件套:weight + weight scale)
- 2 量化范围
处理对象 include exclude 精度
- -------- --------- --------- ------
MLP(dense / 共享专家 / MoE 专家) *mlp* *gate W8A8 MXFP8
注意力与索引投影(全 79 层,含 MTP 层 78) *self attn* *kv b proj 、 *wk 、 *weights proj W8A8 MXFP8(含 o proj 、 q a proj 、 q b proj 、 kv a proj with mqa 、22 个 full-indexer 层的 indexer.wq b )
Indexer q/k(稀疏索引) *indexer* (第 6/10/…/66 层,共 16 层) 第 0/1/2/70/74/78 层 FP8 E4M3 per token
KV Cache(knope 压缩通路) *self attn* (第 3~73 层,共 71 层) *indexer* 、第 0/1/2/74–78 层 MXFP8 per-tile
- 3 保留高精度的模块(保护对象)
gate (MoE 路由,含 e score correction bias ):保证专家路由稳定;
kv b proj (MLA 值投影)、 indexer.wk / indexer.weights proj / indexer.k norm :避免长序列检索精度劣化;
embedding / lm head / 各类 norm / MTP head:保留浮点。
实测 quant model description.json 中 644 个 tensor 为 FLOAT (其中 kv b proj 、 gate 、 indexer.wk 、 indexer.weights proj 等以 BF16 存储,norm、lm head 以 F32 存储),另有 71 个 knope 层 MXFP8 DYNAMIC 标记、16 个 indexer 层 FP8 DYNAMIC 标记与 1 个模型级 indexer quant type (INT8 DYNAMIC)标记。
- 4 处理流水
- *QuaRot 正交旋转**:将集中在少数通道的激活离群值分散到多通道,为 MXFP8 量化提供平滑分布;旋转矩阵随产物发布( rot.safetensors 、 optional/quarot.safetensors );
- *Flex SmoothQuant**:在 norm-linear / ov 子图上引入互逆缩放,将激活幅度等价迁移到权重侧;
- *fa3 quant**:indexer q/k 量化(FP8 E4M3 per token)与 knope KV Cache 压缩通路量化登记(MXFP8 per-tile,部署侧执行);
- *Linear Quant**:MXFP8 per block(32)minmax 对称量化。
- 5 落盘
以 ascendv1 saver 保存,单分片 4 GB( part file size: 4 ),共 193 片; quant model description.json 记录逐 tensor 量化类型( group size: 32 ),供部署侧加载。
- 产物实测校验
校验项 结果
- ------ ------
文件构成 204 文件 / 732.06 GiB(193 分片 + index + description + 2 个旋转矩阵文件 + tokenizer/config 等)
量化描述条目 118,619( W8A8 MXFP8 117,887 + FLOAT 644 + MXFP8 DYNAMIC 标记 71 + FP8 DYNAMIC 标记 16 + INT8 DYNAMIC 标记 1)
量化参数组 58,943 组,均为两件套( weight U8 + weight scale F8 E4M3,per block 32)
分片 dtype 分布 U8 58,943 / F8 E4M3 58,943 / F32 438 / BF16 206,逐分片 safetensors header 解析通过(193/193)
跨仓库一致性 与 GLM-5.2-W8A8C8-mxfp8 的 quant model description.json 逐字节一致(MD5 相同),量化映射仅由架构决定
- 量化复现
- 1 安装 msModelSlim
- 2 执行量化(8 卡 NPU)
${MODEL PATH} :GLM-5.3 权重路径(原生 FP8 或 BF16 均可,工具链内部统一转为 BF16 处理,FP8 → BF16 → MXFP8); ${SAVE PATH} :量化产物保存路径;
校准数据 mix calib.jsonl 由配置自动匹配(与配置同目录),无需手动指定;
- -tags Atlas 350 用于命中 glm 5 3 w8a8c8 mxfp8.yaml (该配置仅在 Atlas 350 场景验证);注意**不要**写成 --quant type mxfp8 (不存在该枚举),MXFP8 由 tags 匹配的配置决定;
也可显式 --config ${CONFIG PATH}/glm 5 2/glm 5 3 w8a8c8 mxfp8.yaml ,效果等价。
- 部署
(待补充)
- 精度测试结果
模型名 量化格式 数据集 测试精度 (%)
:------: :------: :------: :------:
GLM-5.3 W8A8C8 MXFP8 (待补充) (待补充)
- 注意事项
gate 、 kv b proj 、 indexer.wk / weights proj / k norm 、embedding / lm head / norm 为保护对象,请勿在自定义配置中将其纳入量化范围;
本仓库为 **W8A8C8 MXFP8**(带 KV Cache 量化),请与无 C8 的 glm 5 3 w8a8 mxfp8.yaml 区分,两者产物不通用;
indexer q/k 为 FP8 E4M3 per token 量化(非 MXFP8),属预期设计;
如自定义量化层范围(include/exclude),平滑参数与量化器、位宽强耦合,调整后建议重新执行参数搜索;
W8A8C8 的 KV Cache 量化由配置中的 knope fa3 quant 在量化阶段逐 tile(128)模拟并登记量化类型,实际按块量化由 vLLM-Ascend 等部署侧执行;
GLM-5.3 原始模型权重为其发布仓库的自有许可协议,商用请遵循 ZhipuAI/GLM-5.3 仓库的 LICENSE 条款。
优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。
完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖,以原作者说明为准。
是否允许商用、修改和分发,请查看模型许可证。
闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。
Problem with the information or download?
Sign in to submit feedback.
