Qwen3.8-27B-GPTQ-Int4

Qwen3.8-27B-GPTQ-Int4

模型介绍

Qwen3.8-27B 是 Qwen 系列最新一代的稠密（Dense）原生多模态大语言模型，总参数量 27B，于 2026 年 8 月 14 日发布。本仓库提供 **GPTQ-Int4** 量化版本，**专为老卡设计，可以在 NVIDIA V100（sm 70）上搭配 vLLM 0.19.0 正常部署推理**。

相比上一代 Qwen3.6-27B，Qwen3.8-27B 在编程、办公 Agent、长文档理解等场景有显著提升：

SWE-Bench Pro：61.7%（大幅超越 Qwen3.6-27B）

CoWorkBench：70.7%（超越 Claude Opus 4.6 Max 的 68.2%）

LiveCodeBench v6：90.3%

GPQA Diamond：89.2%

架构亮点

• *Gated DeltaNet + Gated Attention 3:1 混合架构**
• 64 层中 48 层使用 Gated DeltaNet 线性注意力（O(n) 状态，不存储 KV cache）
• 16 层使用 Gated Attention 门控全注意力
• KV cache 仅为同等全注意力模型的约 1/4
• *Dense 架构**，全部 27B 参数参与计算（非 MoE）
• *MTP 多 Token 预测**，内置 draft head 加速推理
• *原生 262,144 tokens（262K）上下文**，可通过 YaRN 扩展到 1M

量化信息

项目 内容

• ----- ------

基座模型 Qwen3.8-27B

量化方法 GPTQ-Int4

权重大小 ~18.5 GB

推荐部署框架 vLLM 0.19.0

硬件兼容性

本模型的核心卖点：能在 V100 老卡上跑。**

vLLM 从 0.20.0 开始移除了对 sm 70（V100）的支持，因此 **必须使用 vLLM 0.19.0 或更早版本**

本量化版本在 4×V100 16GB 上经过实测验证，128K 上下文稳定运行

也兼容更新的 GPU（A100、H100、RTX 4090 等），可升级到更高 vLLM 版本

4×V100 16GB 显存账本

项目 单卡占用

• ----- ----------

模型权重（4 卡切分） ~4.6 GB

激活计算 ~1.5 GB

vLLM runtime ~2.5 GB

CUDA context ~1.5 GB

• *可给 KV cache** **~5 GB/卡**

上下文容量（单请求）：**

上下文长度 可并行请求数

• ---------- -------------

128K 5 个

256K 2-3 个

512K 1 个

部署方式

Docker 部署（推荐）

⚠️ 重要：V100 用户必须使用 vLLM 0.19.0，镜像 tag 为 vllm/vllm-openai:v0.19.0 。不要使用 0.20+。

注意：V100 不支持 FlashAttention 2， --enforce-eager 为必选参数，否则会报 FA2 错误。

使用示例

性能参考

指标 数据

• ----- ------

decode 速度 52-141 t/s（带 batching）

首 token 延迟 ~380 ms

稳态吞吐 ~28.7 t/s

注意事项

• *V100 仅支持 GPTQ 量化**，不支持 AWQ
• *必须使用 vLLM 0.19.0**，0.20+ 不兼容 sm 70（V100）
• *必须加 --enforce-eager **，V100 不支持 FlashAttention 2
• *128K 上下文为推荐上限**，256K 需实测 OOM 边界
• *DeltaNet 架构大幅降低 KV cache**，计算上下文容量时请参考实际 attention 层数

License

本模型使用 Qwen 系列 License（Apache 2.0），详情请参考原始模型仓库。