GLM-5.2-W4AFP8

GLM-5.2-W4AFP8

英文文档（English documentation）：HuggingFace model card

GLM-5.2-W4AFP8 是 GLM-5.2 的 4-bit 量化版本，可在**单个 8×H200 节点**上运行完整的 100 万（1M）token 上下文。

它的两个关键价值：

• *完整 1M 上下文在单节点内即可容纳。** 将混合专家（MoE）权重量化到 4-bit，把这部分显存占用从 755 GB 压缩到 368 GB，从而腾出足够显存装下完整的 1M token KV 缓存。相同硬件上，FP8 版本只能达到约 50 万 token。
• *质量无可测量损失。** 推理、指令遵循、长上下文与工具调用等基准测试结果，均落在 FP8 模型的测量噪声范围之内。

[!NOTE]

本模型保留了 GLM-5.2 完整的 753B 参数。侧边栏显示的约 387B 是一个计数上的假象：每个 int8 存储槽里塞了两个 4-bit 权重，因此元数据统计的是存储槽数量，而非参数量。

仅在 SGLang 上测试过**（v0.5.13.post1）。这套 4-bit 布局与投机解码路径是 SGLang 专用的，尚未在 vLLM 或其他推理引擎上验证。

基准测试

在 8×H200 上使用 SGLang，按 GLM-5.2 推荐的采样参数（temperature 1.0、top p 0.95）并开启推理（reasoning）测得。参考列为 GLM-5.2 官方公布的结果。

基准 GLM-5.2-W4AFP8 GLM-5.2 参考值

• -- --- ---

GPQA-Diamond（推理） 90.9 91.2

IFBench（指令遵循，严格） 75.0 74.3

AA-LCR（长上下文推理） 76.0 69.7

大海捞针 @ ~983K token 3 / 3 命中 未公布

BFCL（工具调用） 与 FP8 基线持平 未公布

推理（GPQA）和指令遵循（IFBench）在评测容差范围内与官方结果一致。GLM-5.2 未公布 BFCL 与大海捞针的参考值，因此这两项与 FP8 版本对比：工具调用持平（整体 84% vs 87%，处于采样噪声内），大海捞针在接近 1M token 的三个深度上全部命中。

性能（8×H200，单节点）

模型内置了量化后的多 token 预测（MTP）层，因此 SGLang 的 EAGLE 投机解码开箱即用。

场景 无投机解码 EAGLE（MTP）

• -- --- ---

单流解码 75 tok/s 118 tok/s

吞吐（8K 输入，1K 输出，16 并发） 658 tok/s 733 tok/s

部署

环境要求：Hopper 架构 GPU（H100 或 H200，SM90），以及 SGLang v0.5.13.post1 或更高版本。

在 8×H200（1128 GB）上，这套配置可服务完整的 1M token 上下文。在 8×H100（640 GB）上，权重依然装得下，并可留出约 40 万 token 的空间；而 FP8 版本在 8×H100 上完全装不下。

要启用投机解码（即 118 tok/s 的单流路径），再加上：

服务端暴露标准的 OpenAI 兼容 API：对话补全（chat completions）、工具调用和推理内容（reasoning content）。

采样默认值

generation config.json 已于 2026-07-07 添加，包含 GLM-5.2 推荐的采样默认值（temperature 1.0、top p 0.95），与基础模型一致。在此日期之前拉取模型的部署请重新下载该文件，或在请求中显式设置 top p=0.95 ：不做 top-p 截断可能导致思考（thinking）模式下偶发的重复循环（参见 sgl-project/sglang#29512）。

量化方式

路由的 MoE 专家使用 4-bit 整数权重（group size 128）配合 FP8（E4M3）激活。稠密层、共享专家、注意力、稀疏注意力索引器，以及 MTP 层的非专家权重保持 FP8 或 BF16。激活在运行时量化。这正是 SGLang w4afp8 路径所加载的布局。权重量化采用了激活感知缩放（AWQ）配合一小段校准集。

局限性

仅在 SGLang 上测试。vLLM 及其他引擎未经验证。

需要 Hopper（SM90）GPU。

继承基座模型 GLM-5.2 的能力与局限。

许可证

MIT，继承自 GLM-5.2。请引用原始 GLM-5.2 工作（引用信息见下方原始模型卡）。

原始模型卡（官方）

以下内容摘自基座模型官方仓库 zai-org/GLM-5 的 README zh.md ，未作改动。英文原版模型卡见 zai-org/GLM-5.2-FP8。

简介

GLM-5.2，面向长程任务的最新旗舰模型。相比前代 GLM-5.1，它在长周期任务能力上实现了重大飞跃，并且首次在**稳定的 100 万 token 上下文**上交付这一能力。

GLM-5.2 的新能力包括：

• *稳定的 100 万上下文：** 提供稳定的 100 万 token 上下文，可持续支撑长周期工作
• *支持弹性思考力度的高级编码**：更强的编码能力，并提供多档思考力度（thinking effort），以平衡性能与延迟
• *改进的架构**：我们提出了 IndexShare，在每四个稀疏注意力层之间复用同一个索引器，在 100 万上下文长度下将每 token 的 FLOPs 降低 2.9 倍。我们还改进了 GLM-5.2 用于推测解码的 MTP 层，将接受长度提升最多 20%。

在标准编码基准测试中，GLM-5.2 是最强的开源模型，相比 GLM-5.1 大幅领先：在 Terminal-Bench 2.1 上为 81.0 对 62.0，在 SWE-bench Pro 上为 62.1 对 58.4。它还大幅缩小了与闭源前沿模型的差距——在 Terminal-Bench 2.1（81.0）上，与 Claude Opus 4.8（85.0）仅相差几分——同时保持领先于 Gemini 3.1 Pro。

更多细节，请查看我们的博客。

本地部署 GLM-5 系列模型

GLM-5.2 支持使用以下多种框架部署，欢迎尝试：

SGLang (v0.5.13.post1+) — 参见 cookbook

vLLM (v0.23.0+) — 参见 recipes

Transformers (v0.5.12+) — 参见 transformers docs

KTransformers (v0.5.12+) — 参见 tutorial

在 Ascend NPU 平台上部署时，支持 vLLM-Ascend、xLLM、SGLang 等推理框架。

GLM-5 支持通过 reasoning effort 参数控制思考力度，可选 max 和 high 两档。**默认为 max ** —— 若不设置 reasoning effort （或设置为 high 以外的任意值），模型均按 Max 运行；如需使用 High 档，必须显式传入 reasoning effort="high" 。对于榜单复现等默认场景，请保持 Max （无需任何设置）；仅当确实需要 High 档时再设置 reasoning effort="high" 。如需完全关闭思考，可设置 enable thinking=false 。

注：以上为基座模型 GLM-5.2 的通用部署说明。**本仓库为 W4AFP8 量化版本，请以本页顶部「中文 / English」小节中的 SGLang 部署命令为准**（需 --quantization w4afp8 ）。

引用

如果您在研究中发现 GLM-5 系列模型有帮助，请引用我们的技术报告（BibTeX 见下方英文部分）。