模型介绍
中文整理Qwen3.8-27B-W4A16 量化方法与原版来源
对象: qwen3.8-27b-w4a16 (4090-1 单卡方案实际部署权重)
- 一句话总结
用 AutoRound(SignRound 算法)把 Qwen3.8-27B 的线性层权重从 BF16 压到 **INT4(weight-only,W4A16)**,
group size=128 对称量化,激活保持 FP16;再在基础产物上做 "AutoRound-fast" 增强
(embed/lm head 量化为 int4、MTP 层量化为 int8、构建 MTP draft vocab),
得到 15GB / 17 文件的最终部署权重,可整体驻留单卡 RTX 4090D 24GB,并配合 KVarN KV 量化支撑 131K 上下文。
- 部署权重与产物位置
最终权重文件清单(17 文件):
- 第一步:基础量化(AutoRound INT4 W4A16)
- 1 环境与命令
节点:本任务只用 **1 张 4090D**( nvidia.com/gpumem: 24564 ),160Gi 内存
镜像: vllm-openai:v0.25.1 ,进入后 pip install auto-round==0.13.0
命令:
收尾:CLI 默认产物在子目录 Qwen3.8-27B-w4g128/ ,Job 里整体移到目录顶层
- 2 量化参数
字段 值
- --- ----
位宽 4-bit int(weight-only,W4A16)
group size 128(每 128 个权重共享一个 scale)
对称 是( sym: true ,zero 恒为 8,qzeros 在 sym 下无实际作用)
打包格式 auto round:auto gptq (vLLM 兼容)
校准样本 NeelNanda/pile-10k 前 32 条(轻量档)
iters / seqlen / batch 100 / 2048 / 4
AutoRound 官方配方对比:default 128 样本/200 轮、best 512/1000、light 128/50、rtn 1/0。
本项目 32/100 属于**自定义轻量档**:速度快,但样本偏少可能过拟合校准集,正式上线建议 --nsamples 128 --iters 200 重跑。
- 3 算法原理(SignRound)
- 基线 RTN: q = clamp(round(W / scale), -8, 7) + 8 ,对边界附近的取舍是"拍脑袋"的。
- SignRound:把"向上取整还是向下取整"变成可学习符号(+1/−1),用 STE 让梯度穿过取整,
在**校准数据**上最小化量化层输出与 FP16 层输出的重建误差(MSE 类损失),
梯度下降同时优化舍入符号与 scale。
- 与 GPTQ 区别:GPTQ 用 Hessian 逆做逐列误差补偿;SignRound 直接优化舍入方向,计算轻、效果好。
- 实测佐证:存储 q 与 round(W/scale)+8 (RTN)逐元素比对,绝大多数不一致——正是 SignRound 翻转舍入的签名。
- 4 量化范围与豁免
量化对象: model.language model.layers 内全部 Linear 层(含 MTP 相关张量)
豁免(保持 FP16,AutoRound 默认或 extra config 指定):
- 视觉塔( model.visual.* )完全未量化;
- SSM/GDN 线性注意力中对量化敏感的投影层(如 in proj a/b );
- A log / dt bias / conv1d 等非 Linear 参数默认不量化。
- 5 校准数据
默认数据集: NeelNanda/pile-10k (The Pile 的 10k 条子集),取前 32 条、按 seqlen 2048 截断/拼接。
用途:收集层激活统计以初始化/优化 scale;驱动 SignRound 舍入方向优化(重建损失在真实激活上算)。
不更新权重本身(非微调),只决定"怎么舍入、用什么 scale"。
实践建议:代码/agent 场景最好用与部署分布相近的语料校准;样本 128+ 更稳。
- 第二步:AutoRound-fast 变体(实际部署版)
在基础产物之上( /repro-syv-ai/Qwen3.8-27B-W4A16-AutoRound-fast ),
通过脚本流水线追加(日志可证, quant embed.log / quant lm head.log / quant mtp.log / build draft vocab.log ):
步骤 内容 round-trip 相对误差
- --- ---- ----
quant embed embed tokens.weight 量化为 int4 g128 0.0056
quant lm head lm head.weight 量化为 int4 g128 0.0064
quant mtp MTP 层量化为 **int8 g128**( mtp.fc 、 mtp.layers.0.mlp.down/gate/up proj 、 self attn.q/k/v/o proj 共 8 个线性层) 0.0066–0.0153
build draft vocab 从 draft vocab ids.json 构建 MTP draft head(40960 ids,packed int32 + fp16 scales,213MB)→ mtp draft vocab ids.pt —
config.json 内嵌 quantization config (compressed-tensors / pack-quantized 格式,多 config group:
group 0 = Linear 4bit int sym g128;group 1 针对 lm head 等);
目录中另有 quantization config.json.bak-linear-only (linear-only 旧配置备份);
视觉塔仍全部豁免。
- 推理链路(vLLM 如何反量化)
- 读 quantization config , quant method == "compressed-tensors"/"auto-round" 路由到 **INC 量化后端**。
- INT4 WNA16(weight-only)→ INCWna16LinearScheme , packing format=auto round:auto gptq 走 GPTQ 分支
→ 复用 AutoGPTQLinearMethod + **Marlin kernel**( uint4b8 、group 128、 is sym=True 、 desc act=False )。
- extra config 中豁免层 → UnquantizedLinearMethod ,权重 FP16 直通。
- 反量化在 kernel 内完成:权重 int4 打包存储,计算前按组解出并乘 scale 得 FP16,再做 FP16 GEMM(标准 W4A16 模式)。
- 原版(基座)在哪里
来源 位置
- --- ----
HuggingFace(官方) https://huggingface.co/Qwen/Qwen3.8-27B(Apache-2.0)
ModelScope 镜像 https://modelscope.cn/models/Qwen/Qwen3.8-27B
- 特点与坑
- **布局是转置的**: qweight [in/8, out] ,解包沿输入方向、小端序;写自定义 kernel 时最容易踩坑。
- **qzeros 在 sym 下是摆设**:反量化 zero 恒为 8,别拿它当 zero point。
- **混合注意力模型量化重点在 SSM 层**:靠 extra config 豁免 in proj a/b ,其它 SSM 参数默认不量化。
- **视觉塔完全没量**:纯文本任务没问题;多模态显存仍主要被视觉塔吃掉。
- **轻量校准的精度风险**:32 样本/100 轮 = 快速验证档,正式上线建议 default 配方(128/200)重跑并做 PPL/任务评测对比。
- **性能特征**:显存 52GB → 15GB,decode 阶段(带宽瓶颈)通常比 BF16 快;prefill 受反量化开销影响未必更快;
Marlin FP16 累加,数值精度略低于 BF16。
- **MTP 层也被量化**( model extra tensors.safetensors 中 int8 g128), mtp.fc 默认豁免;部署时是否启用 MTP 取决于 vLLM 配置。
优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。
完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖,以原作者说明为准。
是否允许商用、修改和分发,请查看模型许可证。
闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。
Problem with the information or download?
Sign in to submit feedback.
