闲社服务运行正常AI智能体自动化平台
中文
语言 / Language简体中文SelectedEnglish

选择显示语言

GLM-5.3-W8A8C8-mxfp8

Eco-Tech/GLM-5.3-W8A8C8-mxfp8

发布机构Eco-Tech

下载访问条件魔搭来源

GLM-5.3-W8A8C8-mxfp8 量化模型 原始模型名 GLM-5.3(原生 FP8) 原始模型链接 https://www.modelscope.cn/models/ZhipuAI/GLM-5.3

文字对话
模型详情

模型介绍

中文整理

GLM-5.3-W8A8C8-mxfp8 量化模型

  • 基本信息

项目 信息

  • ----- ------

原始模型名 GLM-5.3(原生 FP8)

原始模型链接 https://www.modelscope.cn/models/ZhipuAI/GLM-5.3

量化工具 msModelSlim

量化配置 lab practice/glm 5 2/glm 5 3 w8a8c8 mxfp8.yaml (GLM-5.3 配置位于 glm 5 2 目录)

量化方案说明 https://gitcode.com/Ascend/msmodelslim/pull/917

落盘格式 AscendV1(safetensors,单分片 4 GB)

测试机型 Atlas 350

验证环境 vLLM-Ascend

  • 本次更新说明

本仓库为**首次发布**(2026-09-26):193 个分片(约 4 GB/片),共 732.06 GiB。

采用 PR #917(2026-09-10 合入)引入的 ** glm 5 3 w8a8c8 mxfp8 ** 配置量化,量化格式为 **W8A8C8 MXFP8**(带 KV Cache 量化);

注意区分同目录下的 glm 5 3 w8a8 mxfp8.yaml ( kv cache: False ,无 fa3 quant 两段、无 C8),本仓库产物为带 C8 的 w8a8c8 mxfp8 一支;

量化流程、量化范围与 GLM-5.2-W8A8C8-mxfp8 完全一致(两模型架构相同,两仓库 quant model description.json 逐字节一致)。

  • 量化方案
  • 1 量化配置

项 配置

  • --- ------

权重 MXFP8,per block(32),对称 minmax

激活 MXFP8,per block(32),对称 minmax,动态

Indexer q/k(稀疏索引) FP8 E4M3,per token,对称

KV Cache(C8) MXFP8,per-tile(128),对称;量化阶段对 knope 通路逐 tile 模拟并登记量化类型,部署时由推理框架执行

量化类型 W8A8 MXFP8 (58,943 组两件套:weight + weight scale)

  • 2 量化范围

处理对象 include exclude 精度

  • -------- --------- --------- ------

MLP(dense / 共享专家 / MoE 专家) *mlp* *gate W8A8 MXFP8

注意力与索引投影(全 79 层,含 MTP 层 78) *self attn* *kv b proj 、 *wk 、 *weights proj W8A8 MXFP8(含 o proj 、 q a proj 、 q b proj 、 kv a proj with mqa 、22 个 full-indexer 层的 indexer.wq b )

Indexer q/k(稀疏索引) *indexer* (第 6/10/…/66 层,共 16 层) 第 0/1/2/70/74/78 层 FP8 E4M3 per token

KV Cache(knope 压缩通路) *self attn* (第 3~73 层,共 71 层) *indexer* 、第 0/1/2/74–78 层 MXFP8 per-tile

  • 3 保留高精度的模块(保护对象)

gate (MoE 路由,含 e score correction bias ):保证专家路由稳定;

kv b proj (MLA 值投影)、 indexer.wk / indexer.weights proj / indexer.k norm :避免长序列检索精度劣化;

embedding / lm head / 各类 norm / MTP head:保留浮点。

实测 quant model description.json 中 644 个 tensor 为 FLOAT (其中 kv b proj 、 gate 、 indexer.wk 、 indexer.weights proj 等以 BF16 存储,norm、lm head 以 F32 存储),另有 71 个 knope 层 MXFP8 DYNAMIC 标记、16 个 indexer 层 FP8 DYNAMIC 标记与 1 个模型级 indexer quant type (INT8 DYNAMIC)标记。

  • 4 处理流水
  • *QuaRot 正交旋转**:将集中在少数通道的激活离群值分散到多通道,为 MXFP8 量化提供平滑分布;旋转矩阵随产物发布( rot.safetensors 、 optional/quarot.safetensors );
  • *Flex SmoothQuant**:在 norm-linear / ov 子图上引入互逆缩放,将激活幅度等价迁移到权重侧;
  • *fa3 quant**:indexer q/k 量化(FP8 E4M3 per token)与 knope KV Cache 压缩通路量化登记(MXFP8 per-tile,部署侧执行);
  • *Linear Quant**:MXFP8 per block(32)minmax 对称量化。
  • 5 落盘

以 ascendv1 saver 保存,单分片 4 GB( part file size: 4 ),共 193 片; quant model description.json 记录逐 tensor 量化类型( group size: 32 ),供部署侧加载。

  • 产物实测校验

校验项 结果

  • ------ ------

文件构成 204 文件 / 732.06 GiB(193 分片 + index + description + 2 个旋转矩阵文件 + tokenizer/config 等)

量化描述条目 118,619( W8A8 MXFP8 117,887 + FLOAT 644 + MXFP8 DYNAMIC 标记 71 + FP8 DYNAMIC 标记 16 + INT8 DYNAMIC 标记 1)

量化参数组 58,943 组,均为两件套( weight U8 + weight scale F8 E4M3,per block 32)

分片 dtype 分布 U8 58,943 / F8 E4M3 58,943 / F32 438 / BF16 206,逐分片 safetensors header 解析通过(193/193)

跨仓库一致性 与 GLM-5.2-W8A8C8-mxfp8 的 quant model description.json 逐字节一致(MD5 相同),量化映射仅由架构决定

  • 量化复现
  • 1 安装 msModelSlim
  • 2 执行量化(8 卡 NPU)

${MODEL PATH} :GLM-5.3 权重路径(原生 FP8 或 BF16 均可,工具链内部统一转为 BF16 处理,FP8 → BF16 → MXFP8); ${SAVE PATH} :量化产物保存路径;

校准数据 mix calib.jsonl 由配置自动匹配(与配置同目录),无需手动指定;

  • -tags Atlas 350 用于命中 glm 5 3 w8a8c8 mxfp8.yaml (该配置仅在 Atlas 350 场景验证);注意**不要**写成 --quant type mxfp8 (不存在该枚举),MXFP8 由 tags 匹配的配置决定;

也可显式 --config ${CONFIG PATH}/glm 5 2/glm 5 3 w8a8c8 mxfp8.yaml ,效果等价。

  • 部署

(待补充)

  • 精度测试结果

模型名 量化格式 数据集 测试精度 (%)

:------: :------: :------: :------:

GLM-5.3 W8A8C8 MXFP8 (待补充) (待补充)

  • 注意事项

gate 、 kv b proj 、 indexer.wk / weights proj / k norm 、embedding / lm head / norm 为保护对象,请勿在自定义配置中将其纳入量化范围;

本仓库为 **W8A8C8 MXFP8**(带 KV Cache 量化),请与无 C8 的 glm 5 3 w8a8 mxfp8.yaml 区分,两者产物不通用;

indexer q/k 为 FP8 E4M3 per token 量化(非 MXFP8),属预期设计;

如自定义量化层范围(include/exclude),平滑参数与量化器、位宽强耦合,调整后建议重新执行参数搜索;

W8A8C8 的 KV Cache 量化由配置中的 knope fa3 quant 在量化阶段逐 tile(128)模拟并登记量化类型,实际按块量化由 vLLM-Ascend 等部署侧执行;

GLM-5.3 原始模型权重为其发布仓库的自有许可协议,商用请遵循 ZhipuAI/GLM-5.3 仓库的 LICENSE 条款。

优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。

你将获得什么

完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。

完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。

使用前须知

运行环境

运行模型需要的设备、工具与依赖,以原作者说明为准。

授权范围

是否允许商用、修改和分发,请查看模型许可证。

闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。

返回顶部