模型介绍
中文整理Qwen3.8-27B-AWQ
基础模型:Qwen/Qwen3.8-27B
本仓库是 Qwen3.8-27B 的 **AWQ W4A16 量化版本**,使用中英混合校准数据量化,以 compressed-tensors 格式保存,可直接被 vLLM 加载。
核心收益:从 3 卡部署降到单卡。** 在 32GB 显卡上,原版 bf16 需要 3 张卡,官方 FP8 版本(29GB)单卡放下后几乎没有 KV cache 空间,而本量化版本单卡即可提供 32K 上下文的完整服务。
原版 bf16 官方 FP8 **本仓库 AWQ**
- -- --- --- ---
体积 52 GB 29 GB **21 GB**
32GB 卡最少张数 3 2 **1**
单卡可用 KV cache — 几乎没有 **6.7 GiB**
量化细节
- *算法**:AWQ(Activation-aware Weight Quantization)
- *精度**:W4A16 非对称,group size = 128
- *工具**:llmcompressor 0.13.0
- *保存格式**:compressed-tensors pack-quantized (vLLM 用 Marlin 内核加载)
- *校准数据**:中英混合 512 条,平均 1526 token
- 英文: HuggingFaceH4/ultrachat 200k
- 中文: llamafactory/alpaca zh
量化范围
Linear 层数 参数量
- -- --- ---
量化为 INT4 346 22.77 B
保留 bf16 261 3.31 B
保留 bf16 的部分及原因:**
模块 原因
- -- ---
visual.* 完整视觉塔 仅 0.47B 参数,量化收益小但明显损害图像理解能力
linear attn.in proj a / in proj b 输出维度仅 48,控制 Gated DeltaNet 的衰减门控,数值极敏感
self attn.q/k/v proj 保守取舍以保证质量
layers.0 整层 首层对量化误差最敏感
lm head 输出头
mtp.* MTP 投机解码头,完整保留
- *MTP 权重已完整保留。** transformers 在加载/保存往返中会丢弃 mtp.* (4.25 亿参数),本仓库已从原始权重回填,因此可正常使用 vLLM 的 MTP 投机解码。常规推理不受影响(vLLM 会自动跳过这部分权重)。
依赖
vLLM 启动命令
单卡(32GB)
双卡 TP=2
参数说明(重要)
- -max-num-seqs 在单卡上必须调小。** Gated DeltaNet 线性注意力的循环状态是**按序列**分配的(每条约 150MB),并发数是显存的主要变量,影响远大于 --max-model-len 。实测:
权重占用 KV cache vLLM 默认 max num seqs=128
- -- --- --- ---
单卡 20.5 GiB 6.7 GiB ❌ 启动 OOM,需设为 16
双卡 TP=2 每卡 10.5 GiB 15.1 GiB ✅ 可直接使用默认值
- -limit-mm-per-prompt 建议设置。** 不限制时,启动阶段按最大图像特征做显存画像可能 OOM。
首次请求有约 30-50 秒的 Triton 内核 JIT 冷启动**,属正常现象,压测前请先预热。
性能实测
测试环境:RTX 5090 (32GB) × 1 / × 2,vLLM 0.27.1,32K 上下文,输出 256 token
并发 单卡总吞吐 双卡 TP=2 总吞吐
- -- --- ---
1 74.6 tok/s 105.6 tok/s
4 258.4 tok/s 347.5 tok/s
16 953.5 tok/s 1270.6 tok/s
32 — 1932.7 tok/s
64 — 2417.8 tok/s
128 — 2787.6 tok/s
功能验证
测试项 结果
- -- ---
中文常识问答 ✅
英文问答 ✅
数学计算 ✅ 17×19+45/5 = 332,推导步骤正确
代码生成 ✅
多步逻辑推理 ✅
- *图像理解** ✅ 正确识别图中形状、颜色与相对位置
调用示例
关闭思考模式:
已知限制
o proj 和 linear attn.out proj 实际为 RTN 量化而非完整 AWQ。原因是 GQA 架构下 v proj 输出维度(1024)与 o proj 输入维度(6144)不匹配,无法建立平滑映射。这是架构固有限制。
校准数据为纯文本。视觉塔本身未量化,图像能力经测试保持完好。
License
继承基础模型的 Apache 2.0 许可证,详见 LICENSE。
优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。
完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖,以原作者说明为准。
是否允许商用、修改和分发,请查看模型许可证。
闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。
Problem with the information or download?
Sign in to submit feedback.
