All systems operationalAI Agent Automation Platform
English
Language简体中文EnglishSelected

Choose your language

Qwen3.5-9B-ComfyUI-W4A8-8G

govceo/Qwen3.5-9B-ComfyUI-W4A8-8G

Publishergovceo

Download access requirementsModelScope source

Qwen3.5-9B-ComfyUI-W4A8-8G Qwen3.5-9B 的 ComfyUI 原生量化版 —— 6.67GB 装进 8GB 显存,RTX 3060 12GB 实测 24.5 tokens/s,视觉理解完整保留。 不需要 Ollama、不需要 llama.cpp、不需要外挂推理进程:放进 models/text encoders/ 就能被 ComfyUI 原生 CLIPLoader + TextGenerate 节点直接使用,和图像/视频模型由同一个 Comf

Vision & LanguageText Chat
Model details

模型介绍

中文整理

Qwen3.5-9B-ComfyUI-W4A8-8G

Qwen3.5-9B 的 ComfyUI 原生量化版 —— 6.67GB 装进 8GB 显存,RTX 3060 12GB 实测 24.5 tokens/s,视觉理解完整保留。**

不需要 Ollama、不需要 llama.cpp、不需要外挂推理进程:放进 models/text encoders/ 就能被 ComfyUI 原生 CLIPLoader + TextGenerate 节点直接使用,和图像/视频模型由同一个 ComfyUI 进程统一编排显存。

✨ 核心特性

特性 说明

  • -- ---

🎯 **8GB 显存全驻留** 6.67GB 权重,Qwen3.5-9B 目前唯一能在 3060 8GB 上全显存运行的版本

⚡ **Ampere 原生加速** INT8 张量核心真硬件路径( torch. int mm ),不是模拟——RTX 30/40/50 系都吃到加速

🧩 **ComfyUI 原生格式** comfy quant 混合格式(非 GGUF),CLIPLoader 直读,与 LoRA/offload/多卡体系兼容

👁️ **视觉能力保留** 视觉塔按 BF16 保留,图像描述/画面质检/视觉问答照常工作(多数纯文本量化版丢了这个能力)

📉 **误差实测收敛** 线性层反量化误差 7.3% / lm head 6bit 档 2.1%,端到端任务实测与 BF16 无可感知落差

🔧 **转换工具开源** 转换脚本与基准工具以 Apache-2.0 随包发布,可自行复现或调整配方

📊 实测数据(RTX 3060 12GB,ComfyUI 0.38.2)

指标 数值 说明

  • -- --- ---

文件大小 **6.67 GB** 原官方 BF16 版 17.98GB

稳态生成速度 **24.5 tokens/s** tqdm 实测;3060 8GB 卡按带宽折算预期 ~16 tok/s

运行占显存 **~6.9 GB**(free 5.96GB) 含 KV cache 与激活

冷启动加载 **6.2 秒** 磁盘 mmap 首次加载

中文剧情创作 473 字连贯长文 ✓ 有反转、有场景细节、有对白

结构化 JSON 长 JSON(~2500 token)一次通过格式校验 ✓ 适合需要严格输出的编排

长度硬约束 ≤40 字剧情简介一次达标 ✓ 与""硬门"0 冲突

视觉质检 视觉判定 JSON 合规,能识别"面部 AI 感"瑕疵 ✓ 视觉 BMAD/验收可用

速度对比来源:同卡同任务下官方 BF16 版本因超出 12GB 显存被迫 CPU 换页,仅 1.05 tok/s;本版本快 **23 倍**。

📐 量化配方(分层调度)

不是一味砍位数——按部件敏感度调度:

部件 量化方式 体积 理由

  • -- --- --- ---

语言模型 Linear ×200 **W4A8**(int4 存储 + INT8 计算 + Lloyd-Max 码本 + ConvRot 旋转 + 16 组缩放) 3.40 GB 体量大、容忍度高,主力压缩

lm head(输出头) **W6A8**(6-bit) 0.82 GB 直接决定输出分布,给更高精度

embed tokens(词嵌入) **int8 tensorwise**(按行反量化查找) 1.02 GB 大但不参与浮点计算,按行查表零开销

视觉塔 **BF16 保留** 0.85 GB 质量敏感,保留保视觉质检能力

MTP 推测解码头 / norm / conv / 递归态 剔除(MTP)/ BF16 保留 ~0.1 GB MTP 为可选加速件,删除不影响常规使用

格式遵循 ComfyUI 官方《QUANTIZATION.md》规范,加载端实现位于 ComfyUI comfy/quant ops.py ( AsymW4A8Int8Layout / TensorWiseINT8Layout ),非自定义私货。

🚀 使用

1) 放置

2) 工作流(原生节点)

视觉任务:给 TextGenerate 接上 image 输入即可(LoadImage 1-3 帧)。

3) 性能补丁(强烈推荐)

一行补丁,否则 lm head 会每 token 全量反量化(功能正确但慢 20-30%):

ComfyUI 大版本更新会覆盖 comfy/text encoders/llama.py ,届时需重打补丁。

🧱 环境要求

项 要求

  • -- ---

ComfyUI ≥ 0.38.2(需自带 comfy kitchen)

GPU NVIDIA Ampere 或更新(RTX 3060/4060/5060 等),8GB 显存入门、12GB 推荐

更老显卡 可跑但触发分块换页,速度显著下降

CPU-only 可用(兜底反量化路径),不建议生产

⚠️ 局限

  • *不适合**高吞吐 API 服务(那是 vLLM/llama.cpp 的领域,不是 ComfyUI 的职责)

不再含 MTP 头(常规吞吐用不到;删除后功能无损)

端到端质量已实测收敛,但与 BF16 不是逐 bit 等价(生成内容同样种子下可能与基线有细微差异)

未打补丁时:功能正确、速度 -20~30%(见上)

📦 文件清单

文件 说明

  • -- ---

qwen3.5-9b-w4a8-8g.safetensors 主权重(6.67GB)

comfy-logits-patch.diff ComfyUI 运行时补丁(强烈建议)

README.md 本卡片

LICENSE Apache-2.0 与出处

🙏 出处与许可

  • *基座模型**: Qwen/Qwen3.5-9B —— Alibaba Qwen 团队
  • *官方 Repack**: Comfy-Org/Qwen3.5 —— ComfyUI 团队
  • *量化实现**: ComfyUI comfy kitchen ( quantize w4a8 int8 weight / TensorWiseINT8Layout )
  • *License**: Apache-2.0(请保留上述出处链接)

本权重为社区量化产物,与上述官方项目无隶属关系。

优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。

你将获得什么

完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。

完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。

使用前须知

运行环境

运行模型需要的设备、工具与依赖,以原作者说明为准。

授权范围

是否允许商用、修改和分发,请查看模型许可证。

闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。

Back to top