闲社服务运行正常AI智能体自动化平台
中文
语言 / Language简体中文SelectedEnglish

选择显示语言

Qwen3.8-27B-W4A16

SereaCT/Qwen3.8-27B-W4A16

发布机构SereaCT

下载访问条件魔搭来源

Qwen3.8-27B-W4A16 量化方法与原版来源 对象: qwen3.8-27b-w4a16 (4090-1 单卡方案实际部署权重) 用 AutoRound(SignRound 算法)把 Qwen3.8-27B 的线性层权重从 BF16 压到 INT4(weight-only,W4A16),

图文理解
模型详情

模型介绍

中文整理

Qwen3.8-27B-W4A16 量化方法与原版来源

对象: qwen3.8-27b-w4a16 (4090-1 单卡方案实际部署权重)

  • 一句话总结

用 AutoRound(SignRound 算法)把 Qwen3.8-27B 的线性层权重从 BF16 压到 **INT4(weight-only,W4A16)**,

group size=128 对称量化,激活保持 FP16;再在基础产物上做 "AutoRound-fast" 增强

(embed/lm head 量化为 int4、MTP 层量化为 int8、构建 MTP draft vocab),

得到 15GB / 17 文件的最终部署权重,可整体驻留单卡 RTX 4090D 24GB,并配合 KVarN KV 量化支撑 131K 上下文。

  • 部署权重与产物位置

最终权重文件清单(17 文件):

  • 第一步:基础量化(AutoRound INT4 W4A16)
  • 1 环境与命令

节点:本任务只用 **1 张 4090D**( nvidia.com/gpumem: 24564 ),160Gi 内存

镜像: vllm-openai:v0.25.1 ,进入后 pip install auto-round==0.13.0

命令:

收尾:CLI 默认产物在子目录 Qwen3.8-27B-w4g128/ ,Job 里整体移到目录顶层

  • 2 量化参数

字段 值

  • --- ----

位宽 4-bit int(weight-only,W4A16)

group size 128(每 128 个权重共享一个 scale)

对称 是( sym: true ,zero 恒为 8,qzeros 在 sym 下无实际作用)

打包格式 auto round:auto gptq (vLLM 兼容)

校准样本 NeelNanda/pile-10k 前 32 条(轻量档)

iters / seqlen / batch 100 / 2048 / 4

AutoRound 官方配方对比:default 128 样本/200 轮、best 512/1000、light 128/50、rtn 1/0。

本项目 32/100 属于**自定义轻量档**:速度快,但样本偏少可能过拟合校准集,正式上线建议 --nsamples 128 --iters 200 重跑。

  • 3 算法原理(SignRound)
  • 基线 RTN: q = clamp(round(W / scale), -8, 7) + 8 ,对边界附近的取舍是"拍脑袋"的。
  • SignRound:把"向上取整还是向下取整"变成可学习符号(+1/−1),用 STE 让梯度穿过取整,

在**校准数据**上最小化量化层输出与 FP16 层输出的重建误差(MSE 类损失),

梯度下降同时优化舍入符号与 scale。

  • 与 GPTQ 区别:GPTQ 用 Hessian 逆做逐列误差补偿;SignRound 直接优化舍入方向,计算轻、效果好。
  • 实测佐证:存储 q 与 round(W/scale)+8 (RTN)逐元素比对,绝大多数不一致——正是 SignRound 翻转舍入的签名。
  • 4 量化范围与豁免

量化对象: model.language model.layers 内全部 Linear 层(含 MTP 相关张量)

豁免(保持 FP16,AutoRound 默认或 extra config 指定):

  • 视觉塔( model.visual.* )完全未量化;
  • SSM/GDN 线性注意力中对量化敏感的投影层(如 in proj a/b );
  • A log / dt bias / conv1d 等非 Linear 参数默认不量化。
  • 5 校准数据

默认数据集: NeelNanda/pile-10k (The Pile 的 10k 条子集),取前 32 条、按 seqlen 2048 截断/拼接。

用途:收集层激活统计以初始化/优化 scale;驱动 SignRound 舍入方向优化(重建损失在真实激活上算)。

不更新权重本身(非微调),只决定"怎么舍入、用什么 scale"。

实践建议:代码/agent 场景最好用与部署分布相近的语料校准;样本 128+ 更稳。

  • 第二步:AutoRound-fast 变体(实际部署版)

在基础产物之上( /repro-syv-ai/Qwen3.8-27B-W4A16-AutoRound-fast ),

通过脚本流水线追加(日志可证, quant embed.log / quant lm head.log / quant mtp.log / build draft vocab.log ):

步骤 内容 round-trip 相对误差

  • --- ---- ----

quant embed embed tokens.weight 量化为 int4 g128 0.0056

quant lm head lm head.weight 量化为 int4 g128 0.0064

quant mtp MTP 层量化为 **int8 g128**( mtp.fc 、 mtp.layers.0.mlp.down/gate/up proj 、 self attn.q/k/v/o proj 共 8 个线性层) 0.0066–0.0153

build draft vocab 从 draft vocab ids.json 构建 MTP draft head(40960 ids,packed int32 + fp16 scales,213MB)→ mtp draft vocab ids.pt —

config.json 内嵌 quantization config (compressed-tensors / pack-quantized 格式,多 config group:

group 0 = Linear 4bit int sym g128;group 1 针对 lm head 等);

目录中另有 quantization config.json.bak-linear-only (linear-only 旧配置备份);

视觉塔仍全部豁免。

  • 推理链路(vLLM 如何反量化)
  • 读 quantization config , quant method == "compressed-tensors"/"auto-round" 路由到 **INC 量化后端**。
  • INT4 WNA16(weight-only)→ INCWna16LinearScheme , packing format=auto round:auto gptq 走 GPTQ 分支

→ 复用 AutoGPTQLinearMethod + **Marlin kernel**( uint4b8 、group 128、 is sym=True 、 desc act=False )。

  • extra config 中豁免层 → UnquantizedLinearMethod ,权重 FP16 直通。
  • 反量化在 kernel 内完成:权重 int4 打包存储,计算前按组解出并乘 scale 得 FP16,再做 FP16 GEMM(标准 W4A16 模式)。
  • 原版(基座)在哪里

来源 位置

  • --- ----

HuggingFace(官方) https://huggingface.co/Qwen/Qwen3.8-27B(Apache-2.0)

ModelScope 镜像 https://modelscope.cn/models/Qwen/Qwen3.8-27B

  • 特点与坑
  • **布局是转置的**: qweight [in/8, out] ,解包沿输入方向、小端序;写自定义 kernel 时最容易踩坑。
  • **qzeros 在 sym 下是摆设**:反量化 zero 恒为 8,别拿它当 zero point。
  • **混合注意力模型量化重点在 SSM 层**:靠 extra config 豁免 in proj a/b ,其它 SSM 参数默认不量化。
  • **视觉塔完全没量**:纯文本任务没问题;多模态显存仍主要被视觉塔吃掉。
  • **轻量校准的精度风险**:32 样本/100 轮 = 快速验证档,正式上线建议 default 配方(128/200)重跑并做 PPL/任务评测对比。
  • **性能特征**:显存 52GB → 15GB,decode 阶段(带宽瓶颈)通常比 BF16 快;prefill 受反量化开销影响未必更快;

Marlin FP16 累加,数值精度略低于 BF16。

  • **MTP 层也被量化**( model extra tensors.safetensors 中 int8 g128), mtp.fc 默认豁免;部署时是否启用 MTP 取决于 vLLM 配置。

优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。

你将获得什么

完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。

完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。

使用前须知

运行环境

运行模型需要的设备、工具与依赖,以原作者说明为准。

授权范围

是否允许商用、修改和分发,请查看模型许可证。

闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。

返回顶部