All systems operationalAI Agent Automation Platform
English
Language简体中文EnglishSelected

Choose your language

GLM-5-W8A8-xLLM

Eco-Tech/GLM-5-W8A8-xLLM

PublisherEco-Tech

Download access requirementsModelScope source

使用 xLLM 在 Ascend A3设备 推理 GLM-5.0-W8A8 基座模型 源码地址:https://github.com/jd-opensource/xllm 国内可用: https://gitcode.com/xLLM-AI/xllm

Text Chat
Model details

模型介绍

中文整理

使用 xLLM 在 Ascend A3设备 推理 GLM-5.0-W8A8 基座模型

源码地址:https://github.com/jd-opensource/xllm

国内可用: https://gitcode.com/xLLM-AI/xllm

  • 拉取镜像环境

首先下载xLLM提供的镜像:

然后创建对应的容器

  • 拉取源码并编译

下载官方仓库与模块依赖:

下载安装依赖:

执行编译,在 build/ 下生成可执行文件 build/xllm/core/server/xllm :

  • 启动模型

若机器为重启后初次拉起服务,需先执行以下脚本对device进行初始化

若不执行且npu未初始化可能导致xllm进程拉起失败

环境变量

启动命令 - 单机拉起样例(W8A8权重可A3单机拉起)

日志出现"Brpc Server Started"表示服务成功拉起。

其他可选环境变量

启动命令 - 双机拉起样例

Node0 (master)

Node1 (worker)

ranktable样例

ranktable配置指导:https://www.hiascend.com/document/detail/zh/canncommercial/83RC1/hccl/hcclug/hcclug 000014.html

Ex1.device NUMA亲和性查看

命令:

前述命令中

表示该进程绑在对应亲和的核上,可根据机器具体情况修改绑定的核id

Ex2.Glm-5 权重量化

参考:https://gitcode.com/Ascend/msmodelslim/blob/master/example/GLM-5/README.md

安装msmodelslim

基于GLM-5-BF16 权重量化W8A8权重

Ex3.PD分离

etcd\xllm-service 安?

PD分离部署

xllm 支持PD分离部署,这需要与另一个开源库xllm service配套使用。

xLLM Service依赖

首先,我们下载安装 xllm service ,与安装编译 xllm 类似:

etcd安?

xllm service 依赖etcd,使用etcd官方提供的安装脚本进行安装,其脚本提供的默认安装路径是 /tmp/etcd-download-test/etcd ,我们可以手动修改其脚本中的安装路径,也可以运行完脚本之后手动迁移:

xLLM Service编译

先应用patch:

再执行编译:

!!! warning "可能的错误"

这里能会遇到关于 boost-locale 和 boost-interprocess 的安装错误: vcpkg-src/packages/boost-locale x64-linux/include: No such file or directory , /vcpkg-src/packages/boost-interprocess x64-linux/include: No such file or directory

我们使用 vcpkg 重新安装这些包:

PD分离运行

启动etcd:

跨机配置时,etcd参考如下:

启动xllm service:

跨机配置时,启动xllm service:

启动Prefill实例

启动Decode实例

需要注意:

PD分离需要读取 /etc/hccn.conf 文件,确保将物理机上的该文件映射到了容器中

etcd addr 需与 xllm service 的 etcd addr 相同

测试命令和上面类似,注意 curl http://localhost:{PORT}/v1/chat/completions ... 的 PORT 选择为启动xLLM service的 http server port 。

多机部署P或者Q时(例如部署两个P),需要增加--rank tablefile来完成通信。

优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。

你将获得什么

完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。

完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。

使用前须知

运行环境

运行模型需要的设备、工具与依赖,以原作者说明为准。

授权范围

是否允许商用、修改和分发,请查看模型许可证。

闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。

Back to top