模型介绍
中文整理Qwen3.8-27B-W8A8
模型简介
Qwen3.8-27B 的 **W8A8 量化版本**(权重 INT8 + 激活 INT8 动态量化)。
项目 信息
- ----- ------
基座模型 Qwen/Qwen3.8-27B(BF16,多模态)
量化类型 W8A8(权重 8bit + 激活 8bit)
量化工具 llm-compressor 0.13.0(oneshot + GPTQModifier + SmoothQuant)
底层库 compressed tensors 0.18.0 / transformers 5.12.1
权重大小 ~28 GiB(原版 BF16 ~54 GiB,省约 45%)
文件数 权重 3 个分片 + 完整 tokenizer/processor 配置
量化配置
校准数据:512 条(neuralmagic 通用校准集 + hermes 工具调用 + alpaca-zh 中文,混合中英文)。
能力保留
能力 状态
- ----- ------
多模态 vision(333 权重) ✅ 完整保留(BF16)
MTP 投机解码(15 权重) ✅ 完整保留(BF16, re:^mtp.* 已加入 ignore)
工具调用 / 思考模式 ✅ 保留
长上下文 262K ✅ 保留
测试结果
精度(IFEval 指令遵循,541 题,关 thinking)
指标 原版 BF16 **W8A8**
- ----- :---: :---:
inst strict 86.57% **88.49%**
inst loose 89.93% **91.01%**
prompt strict 80.96% **83.36%**
prompt loose 85.21% **86.88%**
结论:精度零损失,甚至略高于 BF16 原版(差异在评测误差 ±1.5% 内)。**
性能(A100 80GB 单卡)
指标 数值
- ----- ------
生成速度 56.0 tok/s(含 MTP 加速)
显存占用 ~28 GiB
MTP 接受率 86.8%
文件说明
文件 说明
- ----- ------
model-00001/00002-of-00003.safetensors 量化后的主模型权重
model-00003-of-00003.safetensors MTP 权重(BF16,15 个 mtp.* )
model.safetensors.index.json 权重索引
config.json 模型配置 + quantization config(含 re:^mtp.* ignore)
recipe.yaml 量化配方
tokenizer.json / tokenizer config.json / chat template.jinja 分词器
processor config.json 多模态 processor
generation config.json 生成配置
注意事项
部署时**无需**手动指定 --quantization ,vLLM 会从 config.json 自动识别 compressed-tensors 格式。
这是纯文本 + 多模态完整版(vision 已保留),非纯文本裁剪版。
量化于 2026-08-15,基座模型为 Qwen3.8-27B(8 月 14 日开源)。
优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。
完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖,以原作者说明为准。
是否允许商用、修改和分发,请查看模型许可证。
闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。
资料或下载有问题?
登录后可提交反馈。
