GLM-5-w4a8

GLM-5-w4a8

• 基本信息

项目 信息

:------: :------:

原始模型名 GLM-5

原始模型链接 https://huggingface.co/zai-org/GLM-5

测试机型 Atlas 800T A3 1台

版本 vllm-ascend:GLM5

链接 quay.m.daocloud.io/ascend/vllm-ascend:GLM5

2 模型推理指导：

介绍

GLM-5 采用混合专家（MoE）架构，主要面向复杂系统工程和长周期智能体任务。

本文档将展示该模型的主要验证步骤，包括支持特性、特性配置、环境准备、单节点与多节点部署、精度评估及性能评估。

支持特性

请参阅 支持特性 获取模型支持的特性矩阵。

请参阅 特性指南 获取特性配置说明。

环境准备

模型权重

GLM-5 （BF16 版本）：下载模型权重

GLM-5-w4a8 （无 mtp 的量化版本）：下载模型权重

可使用 msmodelslim 对模型进行基础量化。

建议将模型权重下载至多节点共享目录，例如 /root/.cache/ 。

安?

vLLM 与 vLLM-ascend 仅在主分支支持 GLM-5。您可使用官方 Docker 镜像，并升级 vLLM 和 vLLM-ascend 进行推理。

此外，如果您不希望使用上述 Docker 镜像，也可通过源码完整构建：

从源码安装 vllm-ascend ，请参考 安装指南。

要对 GLM-5 进行推理，您需要将 vllm、vllm-ascend、transformers 升级至主分支：

如需部署多节点环境，您需要在每个节点上分别完成环境配置。

部署

单节点部署

A2 系列**

尚未测试。

A3 系列**

量化模型 glm-5-w4a8 可部署于单台 Atlas 800 A3（64G × 16）。

执行以下脚本进行在线推理。

注意：**

参数说明如下：

对于单节点部署，低延迟场景下我们推荐使用 dp1tp16 并关闭专家并行。

• -async-scheduling ：异步调度是一种优化推理效率的技术，允许非阻塞的任务调度，以提高并发性和吞吐量，尤其在处理大规模模型时效果明显。

多节点部署

A2 系列**

尚未测试。

A3 系列**

glm-5-bf16 ：至少需要 2 台 Atlas 800 A3（64G × 16）。

在两台节点上分别执行以下脚本。

节点 0**

节点 1**

前缀与解码分离

尚未测试。

精度评估

这里提供两种精度评估方法。

使用 AISBench

• 详细步骤请参阅 使用 AISBench 进行精度评估。
• 执行后即可获得评估结果。

使用语言模型评估工具（Language Model Evaluation Harness）

模型名 量化格式 数据集 测试精度 %

:------: :------: :------: :------:

GLM-5 w4a8 AIME 2025 86.67

GLM-5 w4a8 GPQA 85.35

性能

使用 AISBench

详细步骤请参阅 使用 AISBench 进行性能评估。

使用 vLLM 基准测试工具

更多信息请参考 vLLM 基准测试。