模型介绍
中文整理GLM-5.3-Channel-INT4-w4a8
本仓库由海光信息（Hygon）发布，基于 ZhipuAI/GLM-5.3 的 BF16 权重量化。量化后的主干 MoE 专家及 MTP 专家使用 INT4 W4A8；部分注意力层、共享专家与密集层使用 INT8 W8A8。
- 基本信息
项目 内容
- -- ---
基础模型 ZhipuAI/GLM-5.3（BF16 权重）
量化类型 Channel INT4 W4A8 + INT8 W8A8；MTP 专家为 INT4
权重量化 RTN、Static、Per-Channel；主干及 MTP 路由专家为 INT4，其余指定线性层为 INT8；格式为 compressed-tensors
激活量化 Dynamic、Per-Token INT8；无需数据集校准
验证硬件 单机 8 卡海光 BW1000 DCU（每卡 64 GiB）
验证环境 SGLang 0.5.18；镜像 jenkins/model test env/sglang:0.5.18-ubuntu22.04-dtk26041-py3.10-sf b075-20261014-0406 ；EvalScope 1.13.0
许可证 GLM-5.3 License
- 测试步骤
以下命令对应单机 8 卡 BW1000 验证。使用上述 SGLang 镜像，挂载完整模型目录及评测数据目录后，在容器内运行；镜像仓库地址由实际部署环境提供。将 /path/to/model 和 /path/to/datasets 替换为实际挂载路径。精度评测关闭思考模式。
在另一个终端运行评测。三个数据集均为 0-shot、完整测试集；MATH-500 取 Level 1–5 的总体准确率。
- 精度结果
数据集 指标 Channel-FP8（%） INT4 W4A8（%） 差值（百分点）
- -- --- ---: ---: ---:
humaneval pass@1 97.0 98.17 +1.17
math 500 accuracy 94.0 94.40 +0.40
gsm8k accuracy 96.8 97.12 +0.32
- 下载方式
发布至 ModelScope 后，使用与仓库名称一致的模型 ID 下载：
- License
本模型沿用上游 ZhipuAI/GLM-5.3 的 **GLM-5.3 License**，版权及使用条件以仓库根目录的 LICENSE 原文为准。
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
Problem with the information or download?
Sign in to submit feedback.