模型介绍
中文整理使用 xLLM 在 Ascend A3设备 推理 GLM-5.0-W8A8 基座模型
源码地址:https://github.com/jd-opensource/xllm
国内可用: https://gitcode.com/xLLM-AI/xllm
- 拉取镜像环境
首先下载xLLM提供的镜像:
然后创建对应的容器
- 拉取源码并编译
下载官方仓库与模块依赖:
下载安装依赖:
执行编译,在 build/ 下生成可执行文件 build/xllm/core/server/xllm :
- 启动模型
若机器为重启后初次拉起服务,需先执行以下脚本对device进行初始化
若不执行且npu未初始化可能导致xllm进程拉起失败
环境变量
启动命令 - 单机拉起样例(W8A8权重可A3单机拉起)
日志出现"Brpc Server Started"表示服务成功拉起。
其他可选环境变量
启动命令 - 双机拉起样例
Node0 (master)
Node1 (worker)
ranktable样例
ranktable配置指导:https://www.hiascend.com/document/detail/zh/canncommercial/83RC1/hccl/hcclug/hcclug 000014.html
Ex1.device NUMA亲和性查看
命令:
前述命令中
表示该进程绑在对应亲和的核上,可根据机器具体情况修改绑定的核id
Ex2.Glm-5 权重量化
参考:https://gitcode.com/Ascend/msmodelslim/blob/master/example/GLM-5/README.md
安装msmodelslim
基于GLM-5-BF16 权重量化W8A8权重
Ex3.PD分离
etcd\xllm-service 安?
PD分离部署
xllm 支持PD分离部署,这需要与另一个开源库xllm service配套使用。
xLLM Service依赖
首先,我们下载安装 xllm service ,与安装编译 xllm 类似:
etcd安?
xllm service 依赖etcd,使用etcd官方提供的安装脚本进行安装,其脚本提供的默认安装路径是 /tmp/etcd-download-test/etcd ,我们可以手动修改其脚本中的安装路径,也可以运行完脚本之后手动迁移:
xLLM Service编译
先应用patch:
再执行编译:
!!! warning "可能的错误"
这里能会遇到关于 boost-locale 和 boost-interprocess 的安装错误: vcpkg-src/packages/boost-locale x64-linux/include: No such file or directory , /vcpkg-src/packages/boost-interprocess x64-linux/include: No such file or directory
我们使用 vcpkg 重新安装这些包:
PD分离运行
启动etcd:
跨机配置时,etcd参考如下:
启动xllm service:
跨机配置时,启动xllm service:
启动Prefill实例
启动Decode实例
需要注意:
PD分离需要读取 /etc/hccn.conf 文件,确保将物理机上的该文件映射到了容器中
etcd addr 需与 xllm service 的 etcd addr 相同
测试命令和上面类似,注意 curl http://localhost:{PORT}/v1/chat/completions ... 的 PORT 选择为启动xLLM service的 http server port 。
多机部署P或者Q时(例如部署两个P),需要增加--rank tablefile来完成通信。
优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。
完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖,以原作者说明为准。
是否允许商用、修改和分发,请查看模型许可证。
闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。
资料或下载有问题?
登录后可提交反馈。
