模型介绍
中文整理Qwen3.8-27B-AWQ
这是基于 Qwen/Qwen3.8-27B 制作的 AutoAWQ 权重量化版本，目标运行环境为SGLang。
量化配置
工具：AutoRound 0.14.2
格式：AutoAWQ GEMM
权重：4 bit，activation 保持 16 bit
Group size：128
Zero point：启用（非对称量化）
校准集：4096 条、每条 1024 ~ 32768 tokens；包含中英文、代码、数学和对话数据
已量化线性模块：346
checkpoint 大小：20.371 GiB
为了保留精度和架构兼容性，以下部分保持 BF16/FP16：视觉模块、MTP、 lm head 、第 0 层、full-attention 的 Q/K/V 投影，以及 linear-attention 的 in proj a / in proj b 。
MTP 与完整性验证
checkpoint 中包含 15 个官方 MTP 张量，共 849,398,784 字节。
每个 MTP 张量的名称、dtype、shape、长度和 SHA-256 均与官方源 checkpoint 逐字节一致。
SGLang 已将其正确加载为 Qwen3 5ForCausalLMMTP ，没有参数未找到或跳过映射警告。
单卡 V100 冒烟测试中，MTP speculative decoding 的观察接受长度为 2.42–2.62，接受率约 47%–54%。
SGLang 启动示例
V100 不支持原生 BF16 计算，建议显式使用 --dtype float16 。SM70 运行还需要与本机 CUDA/SGLang 版本匹配的算子实现。
已验证范围
AutoAWQ checkpoint 结构、打包 dtype 和 346 个目标量化模块
32GB V100 上的 SGLang 加载、CUDA Graph、MTP speculative decoding
OpenAI-compatible 文本生成接口及确定性输出
视觉权重已保留，但本版本尚未完成多模态输入的功能与性能验收。
Download
License
本仓库沿用基础模型的 Apache License 2.0。请同时遵守基础模型仓库中的使用条款。
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
Problem with the information or download?
Sign in to submit feedback.