GLM-5.1-w8a8

GLM-5.1-w8a8

• 基本信息

项目 信息

:------: :------:

原始模型名 GLM-5.1

原始模型链接 https://huggingface.co/zai-org/GLM-5.1

测试机型 Atlas 800T A3 1台

版本 vllm-ascend:v0.18.0rc1

链接 quay.io/ascend/vllm-ascend:v0.18.0rc1

2 模型推理指导：

介绍

GLM-5.1 采用混合专家（MoE）架构，其编码能力远强于前代产品。在 SWE-Bench Pro 上实现了最先进的性能，并在 NL2Repo（代码库生成）和 Terminal-Bench 2.0（真实世界终端任务）上大幅领先于 GLM-5。

本文档将展示该模型的主要验证步骤，包括支持特性、特性配置、环境准备、单节点与多节点部署、精度评估及性能评估。

支持特性

请参阅 支持特性 获取模型支持的特性矩阵。

请参阅 特性指南 获取特性配置说明。

环境准备

模型权重

GLM-5.1 （BF16 版本）：下载模型权重

GLM-5-w8a8 ：下载模型权重

可使用 msmodelslim 对模型进行基础量化。

建议将模型权重下载至多节点共享目录，例如 /root/.cache/ 。

安?

vLLM 与 vLLM-ascend 仅在主分支支持 GLM-5。您可使用官方 Docker 镜像，并升级 vLLM 和 vLLM-ascend 进行推理。

如需部署多节点环境，您需要在每个节点上分别完成环境配置。

部署

单节点部署

A2 系列**

尚未测试。

A3 系列**

量化模型 glm-5.1-w8a8 可部署于单台 Atlas 800 A3（64G × 16）。

执行以下脚本进行在线推理。

注意：**

参数说明如下：

对于单节点部署，低延迟场景下我们推荐使用 dp1tp16 并关闭专家并行。

• -async-scheduling ：异步调度是一种优化推理效率的技术，允许非阻塞的任务调度，以提高并发性和吞吐量，尤其在处理大规模模型时效果明显。

多节点部署

A2 系列**

尚未测试。

A3 系列**

glm-5.1-bf16 ：至少需要 2 台 Atlas 800 A3（64G × 16）。

在两台节点上分别执行以下脚本。

节点 0**

节点 1**

前缀与解码分离

尚未测试。

精度评估

这里提供两种精度评估方法。

使用 AISBench

• 详细步骤请参阅 使用 AISBench 进行精度评估。
• 执行后即可获得评估结果。

模型名 量化格式 数据集 测试精度 % 官方精度 %

:------: :------: :------: :------: :------:

GLM-5.1-w8a8 w8a8 gpqa 85.86 86.2

使用语言模型评估工具（Language Model Evaluation Harness）

尚未测试。

性能

使用 AISBench

详细步骤请参阅 使用 AISBench 进行性能评估。

使用 vLLM 基准测试工具

更多信息请参考 vLLM 基准测试。