Qwen3.8-27B-W8A16

Qwen3.8-27B-W8A16

模型简介

Qwen3.8-27B 的 **W8A16 量化版本**（权重 INT8 + 激活保持 BF16，weight-only）。

项目 信息

• ----- ------

基座模型 Qwen/Qwen3.8-27B（BF16，多模态）

量化类型 W8A16（权重 8bit，激活不量化 BF16）

量化工具 llm-compressor 0.13.0（oneshot + GPTQModifier，per-channel）

底层库 compressed tensors 0.18.0 / transformers 5.12.1

权重大小 ~29.6 GiB（原版 BF16 ~54 GiB，省约 45%）

文件数 权重 3 个分片 + 完整 tokenizer/processor 配置

量化配置

W8A16 = weight-only INT8。相比 W8A8（权重+激活都量化），W8A16 免去激活量化/反量化开销，decode 阶段（带宽受限）反而更快，且精度天然更稳。

能力保留

能力 状态

• ----- ------

多模态 vision（333 权重） ✅ 完整保留（BF16）

MTP 投机解码（15 权重） ✅ 完整保留（BF16， re:^mtp.* 已加入 ignore）

工具调用 / 思考模式 ✅ 保留

长上下文 262K ✅ 保留

测试结果

精度（IFEval 指令遵循，541 题，关 thinking）

指标 原版 BF16 **W8A16**

• ----- :---: :---:

inst strict 86.57% **87.17%**

inst loose 89.93% 89.93%

prompt strict 80.96% **81.52%**

prompt loose 85.21% 85.03%

结论：精度零损失，与 BF16 原版持平（差异在评测误差 ±1.5% 内）。**

性能（A100 80GB 单卡）

指标 数值

• ----- ------

生成速度 **60.2 tok/s**（含 MTP 加速，三版中最快）

显存占用 ~29.6 GiB

MTP 接受率 88-89%（三版中最高）

三版对比（原版 vs W8A8 vs W8A16）

维度 原版 BF16 W8A8 **W8A16**

• ----- :---: :---: :---:

inst strict 86.57% 88.49% 87.17%

生成速度 56.6 tok/s 56.0 tok/s **60.2 tok/s**

显存 54 GiB 28 GiB 29.6 GiB

MTP 接受率 40-76% 86.8% **88-89%**

W8A16 是最优平衡**：速度最快、精度无损、省 45% 显存、MTP 接受率最高。

文件说明

文件 说明

• ----- ------

model-00001/00002-of-00003.safetensors 量化后的主模型权重

model mtp.safetensors MTP 权重（BF16，15 个 mtp.* ，由官方 save mtp tensors to checkpoint 生成）

model.safetensors.index.json 权重索引

config.json 模型配置 + quantization config（含 re:^mtp.* ignore）

recipe.yaml 量化配方

tokenizer.json / tokenizer config.json / chat template.jinja 分词器

processor config.json 多模态 processor

generation config.json 生成配置

注意事项

部署时**无需**手动指定 --quantization ，vLLM 会从 config.json 自动识别 compressed-tensors 格式。

MTP 权重通过官方 compressed tensors.utils.save mtp tensors to checkpoint 固化， re:^mtp.* 已写入 ignore，vLLM 自动将 MTP 层按 BF16 加载（无需改 vLLM 源码）。

这是纯文本 + 多模态完整版（vision 已保留），非纯文本裁剪版。

量化于 2026-08-16，基座模型为 Qwen3.8-27B（8 月 14 日开源）。