Model details
模型介绍
中文整理Qwen3.8-27B-W8A8-DCU
面向海光 DCU（gfx936，64GB）的 **Qwen3.8-27B W8A8 INT8 量化部署版**，开箱即用（vLLM 0.18.1+das）。
模型概述
- *基座模型**：Qwen/Qwen3.8-27B（千问3.8-27B，多模态 + 混合注意力）
- *架构**： Qwen3 5ForConditionalGeneration （64 层：48×linear attention + 16×full attention，稠密，非 MoE；含视觉塔，支持图像/视频）
- *量化**：**W8A8 INT8**（权重 int8 per-channel 静态对称 + 激活 int8 per-token 动态），vLLM 0.18.1 在 DCU 上走 hipblaslt w8a8 gemm 原生 kernel
- *本仓库 = 完整交付**：已量化权重 + 启动脚本 + 4 处 vLLM 源码补丁 + 部署文档，**clone 即用**
性能（gfx936 单卡 64GB 实测）
指标 值
单流吞吐 **33.3 tok/s**（500→200 tok，temperature=0）
峰值吞吐（conc 64） **529 tok/s**
128 并发聚合 453 tok/s（0 失败）
TTFT（单流） ~182 ms
上下文上限 **262144（256K）**
显存占用 权重 ~28.6 GiB，KV 余量 ~26 GiB
正确性 数学/代码/JSON/写作/视觉 6 用例全过
对比原始 BF16**：单流 14.3 → 33.3 tok/s（**+133%**），峰值 178 → 529 tok/s（**+197%**）。
部署要求
项 要求
硬件 海光 gfx936（Marketing Name "BW"）单卡 64GB HBM
软件 vLLM 0.18.1+das（Harbor 镜像 vllm0.18.1-...-20260810-qwen3.8 ）
磁盘 ≥60GB（模型 30GB）
网络 可访问 modelscope.cn / harbor.sourcefind.cn
快速使用
文件结构
说明
本仓库是 **Qwen3.8-27B 的量化适配部署包**，权重由原始 BF16 权重经 per-channel INT8 量化得到；量化可能引入微小精度损失（实测 6 类用例全部正确）。
许可遵循基座模型 Qwen3.8-27B（Apache 2.0）。
仅支持海光 DCU 栈（+das / hipblaslt）；其他硬件请使用官方原版或官方 FP8 版。
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行环境运行模型需要的设备、工具与依赖，以原作者说明为准。
授权范围是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
Problem with the information or download?
Sign in to submit feedback.
