GLM-5.3-W4AFP8

GLM-5.3-W4AFP8

[](https://huggingface.co/PhalaCloud/GLM-5.3-W4AFP8)

本仓库是 Hugging Face 原始仓库 PhalaCloud/GLM-5.3-W4AFP8 的逐字节镜像。英文文档（English documentation）与后续更新以 Hugging Face 仓库为准：

https://huggingface.co/PhalaCloud/GLM-5.3-W4AFP8

GLM-5.3-W4AFP8 是 zai-org/GLM-5.3 的 W4AFP8 量化版本，由 BF16 母版 量化而来：MoE 专家权重为 INT4（group 128，AWQ 校准），激活与非专家层为 FP8，由 SGLang 原生的 CUTLASS W4A8 grouped GEMM 在 Hopper（SM90）上服务。在推理吞吐相同的情况下，KV 缓存容量约为 FP8 检查点的 2 倍，并完整保留 EAGLE/MTP 投机解码。

本模型是 PhalaCloud/GLM-5.2-W4AFP8 的后继版本；GLM-5.3 与 GLM-5.2 架构完全一致（已逐张量验证），因此可沿用相同的部署配置。

与 5.2 检查点的差异

从 BF16 母版（ zai-org/GLM-5.3-BF16 ）量化，而非 FP8 发布版，避免了专家权重的二次量化。

AWQ 校准使用编码智能体轨迹（SALT-NLP/SWE-chat，128 个窗口 × 2048 token，按会话不相交切分），与生产环境的 agentic 工作负载相匹配，而非通用网络文本。

MTP/nextn 草稿层（第 78 层）以量化形式随模型发布；EAGLE 投机解码开箱即用。

评测

使用下方 SGLang 配置在本检查点上实测（官方请求参数，推理按 chat template 默认设置）。

基准 GLM-5.3-W4AFP8 GLM-5.3 参考值

• -- --- ---

GPQA-Diamond **91.9** 91.7

AA-LCR 73.0 76.3

BFCL（45 项 live 子集） 82.2 —

NIAH 检索 @ ~93 万 token 提示 **3/3** 命中（深度 0.1/0.5/0.9） —

Teacher-forced dNLL 对比 BF16（留出编码轨迹） +0.28 nats —

投机解码接受长度（EAGLE steps=3, topk=1, draft=4） ~2.9 —

参考值来源：Artificial Analysis GLM-5.3。逐项评测产物保留在 HuggingFace 仓库历史中。

部署

H200 级 GPU 可服务完整的 1M 上下文；在 H100 80GB 上请使用 --mem-fraction-static 0.78 并降低上下文长度。vLLM 对该检查点格式的支持正在上游推进中（vllm PR #53848，通过 humming 后端的 --quantization w4afp8 ）。

验证

结构审计：张量清单（176,997 个张量）与经过格式验证的 GLM-5.2-W4AFP8 检查点完全一致（名称、dtype、形状）。

反量化审计：INT4 专家权重的重建误差落在 group-128 的预期包络内（AWQ 通道尺度拟合后相对 RMS 残差 10.8–13%；无离群值）。

留出集 teacher-forced NLL 与任务基准：见上方评测部分。

全部 78 层的逐层 AWQ 搜索检查点（scale 与 clip 阈值）保留在 HuggingFace 仓库历史中，供复现与研究使用；它们不包含在当前修订中，因此 snapshot download 只会拉取推理权重。

License

MIT，继承自 GLM-5.3。