闲社服务运行正常AI智能体自动化平台
中文
语言 / Language简体中文SelectedEnglish

选择显示语言

Qwen3.8-27B-AWQ

bchen61/Qwen3.8-27B-AWQ

发布机构bchen61

下载访问条件魔搭来源

基础模型:Qwen/Qwen3.8-27B 本仓库是 Qwen3.8-27B 的 AWQ W4A16 量化版本,使用中英混合校准数据量化,以 compressed-tensors 格式保存,可直接被 vLLM 加载。 核心收益:从 3 卡部署降到单卡。 在 32GB 显卡上,原版 bf16 需要 3 张卡,官方 FP8 版本(29GB)单卡放下后几乎没有 KV cache 空间,而本量化版本单卡即可提供 32K 上下文的完整服务。

图文理解
模型详情

模型介绍

中文整理

Qwen3.8-27B-AWQ

基础模型:Qwen/Qwen3.8-27B

本仓库是 Qwen3.8-27B 的 **AWQ W4A16 量化版本**,使用中英混合校准数据量化,以 compressed-tensors 格式保存,可直接被 vLLM 加载。

核心收益:从 3 卡部署降到单卡。** 在 32GB 显卡上,原版 bf16 需要 3 张卡,官方 FP8 版本(29GB)单卡放下后几乎没有 KV cache 空间,而本量化版本单卡即可提供 32K 上下文的完整服务。

原版 bf16 官方 FP8 **本仓库 AWQ**

  • -- --- --- ---

体积 52 GB 29 GB **21 GB**

32GB 卡最少张数 3 2 **1**

单卡可用 KV cache — 几乎没有 **6.7 GiB**

量化细节

  • *算法**:AWQ(Activation-aware Weight Quantization)
  • *精度**:W4A16 非对称,group size = 128
  • *工具**:llmcompressor 0.13.0
  • *保存格式**:compressed-tensors pack-quantized (vLLM 用 Marlin 内核加载)
  • *校准数据**:中英混合 512 条,平均 1526 token
  • 英文: HuggingFaceH4/ultrachat 200k
  • 中文: llamafactory/alpaca zh

量化范围

Linear 层数 参数量

  • -- --- ---

量化为 INT4 346 22.77 B

保留 bf16 261 3.31 B

保留 bf16 的部分及原因:**

模块 原因

  • -- ---

visual.* 完整视觉塔 仅 0.47B 参数,量化收益小但明显损害图像理解能力

linear attn.in proj a / in proj b 输出维度仅 48,控制 Gated DeltaNet 的衰减门控,数值极敏感

self attn.q/k/v proj 保守取舍以保证质量

layers.0 整层 首层对量化误差最敏感

lm head 输出头

mtp.* MTP 投机解码头,完整保留

  • *MTP 权重已完整保留。** transformers 在加载/保存往返中会丢弃 mtp.* (4.25 亿参数),本仓库已从原始权重回填,因此可正常使用 vLLM 的 MTP 投机解码。常规推理不受影响(vLLM 会自动跳过这部分权重)。

依赖

vLLM 启动命令

单卡(32GB)

双卡 TP=2

参数说明(重要)

  • -max-num-seqs 在单卡上必须调小。** Gated DeltaNet 线性注意力的循环状态是**按序列**分配的(每条约 150MB),并发数是显存的主要变量,影响远大于 --max-model-len 。实测:

权重占用 KV cache vLLM 默认 max num seqs=128

  • -- --- --- ---

单卡 20.5 GiB 6.7 GiB ❌ 启动 OOM,需设为 16

双卡 TP=2 每卡 10.5 GiB 15.1 GiB ✅ 可直接使用默认值

  • -limit-mm-per-prompt 建议设置。** 不限制时,启动阶段按最大图像特征做显存画像可能 OOM。

首次请求有约 30-50 秒的 Triton 内核 JIT 冷启动**,属正常现象,压测前请先预热。

性能实测

测试环境:RTX 5090 (32GB) × 1 / × 2,vLLM 0.27.1,32K 上下文,输出 256 token

并发 单卡总吞吐 双卡 TP=2 总吞吐

  • -- --- ---

1 74.6 tok/s 105.6 tok/s

4 258.4 tok/s 347.5 tok/s

16 953.5 tok/s 1270.6 tok/s

32 — 1932.7 tok/s

64 — 2417.8 tok/s

128 — 2787.6 tok/s

功能验证

测试项 结果

  • -- ---

中文常识问答 ✅

英文问答 ✅

数学计算 ✅ 17×19+45/5 = 332,推导步骤正确

代码生成 ✅

多步逻辑推理 ✅

  • *图像理解** ✅ 正确识别图中形状、颜色与相对位置

调用示例

关闭思考模式:

已知限制

o proj 和 linear attn.out proj 实际为 RTN 量化而非完整 AWQ。原因是 GQA 架构下 v proj 输出维度(1024)与 o proj 输入维度(6144)不匹配,无法建立平滑映射。这是架构固有限制。

校准数据为纯文本。视觉塔本身未量化,图像能力经测试保持完好。

许可证

继承基础模型的 Apache 2.0 许可证,详见 LICENSE。

优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。

你将获得什么

完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。

完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。

使用前须知

运行环境

运行模型需要的设备、工具与依赖,以原作者说明为准。

授权范围

是否允许商用、修改和分发,请查看模型许可证。

闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。

返回顶部