QwQ-32B-Int8-W8A16

友情提醒，推理本模型时，请按照如下官方指引：

注意：建议在运行这些模型时设置适当的温度（0.5 到 0.7 之间），否则您可能会遇到无休止的重复或不连贯的输出问题。

📖 关于量化损失方面的研究，可阅读公众号“觉察流”文章👇

《Reason Model 的“瘦身计划”：量化技术的得与失》

炼丹日志

[2025-3-8 10:00] 抱歉各位，由于日常忙碌，所以，刚重新调试了丹炉，已开启，如果顺利，晚上就可以开始上传了。如需交流，欢迎扫下方二维码加我。

[2025-3-8 18:20] 看了一下炉温，确定晚上22:00前可以出丹，然后上传需要点时间，估计要0点以后能传完，明早肯定可以用了。

[2025-3-9 00:00] 在最后一刻，炉子炸了😖。于是，我又开了一炉，愿一切顺利吧。

[2025-3-9 10:20] 早晨开炉，丹已烂，再开一炉🙄。

[2025-3-9 17:25] 刚才跑了两轮测试，总是在最后会爆丹，只好先封炉，下周我找时间来看看这个深层的问题是什么 😥😓😫😖😣。

[2025-4-4 19:45] 终于找到一点点时间，我修改了一下算法，重新开炉！求顺利 🙏

[2025-4-5 07:58] Int4 顺利出炉！😄 本次校准通过精心配置的 3 Million Tokens 校准完成， 尽情享用！

[2025-4-5 13:19] 考虑到 QwQ-32B 模型的品质优秀，应用广泛，我预计将于今晚 22:00 上传本 Int8 模型

[2025-4-6 12:00] Int8 模型已发布

关联模型：QwQ-32B-Int4-W4A16

最近流行生图，以下是我公众号《觉察流》 社群群友的作品，演绎了整个过程，开炉炼丹-爆丹-改算法-丹成 🤣🤣🤣

给大家欣赏，愿有志者，随心顺遂！

通义千问 QwQ-32B-Int8-W8A16 量化高精校准

原模型 Qwen/QwQ-32B

作者在此 👇🏻 扫一扫

下载

SDK下载

Git下载

模型概述

QwQ-32B-Int8-W8A16 是一个基于 通义千问 QwQ-32B 的 INT8 量化并校准的模型。

• *模型名称:** QwQ-32B-Int8-W8A16
• *模型架构:** Qwen2.5
• *权重量化:** INT8

该模型通过将 qwen/QwQ-32B 的权重量化为 INT8 数据类型而实现。

量化过程将每个参数从 16bit 减少到 8bit，将模型占用磁盘空间大小，以及推理时加载模型需要的GPU显存空间，减少到了大约为原模型的1/2。

量化过程中，只有 transformer 中的 Linear 层权重是量化的，其他层均保持为原模型数据类型，采用混合精度的计算方式，尽可能减少模型量化后所带来的精度损失。

在量化过程中，使用了AutoGPTQ，采用 Symmetric group-wise 方式量化。并在此次量化过程中，通过精心配置的 3.6 Million Tokens 进行了数据校准，以提升模型生成精度。（相对比 BF16 做到几乎无损）

注意：本模型需要 compute capability > 8.0（Ampere、Ada Lovelace、Hopper 架构）的 Nvidia GPU 来支持 INT8 **混合精度**计算。

部署推理

推荐使用 vLLM

Openai api 兼容模式

附录 QwQ-32B 介绍

Qwen2.5 同系列模型

同系量化

• *Model** GPTQ Compression & FP8 GGUF **MLX** (macOS)
• ----------- ---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- -------------------------------------------------------------------------------------------- ----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
• 3B params* - 3B-GGUF-V3-LOT 3B-MLX-4bit3B-MLX-8bit
• 7B params* 7B-Int4-W4A167B-Int8-W8A167B-FP8-A16 Coder-7B-Instruct-FP8 7B-GGUF-V3-LOT 7B-MLX-4bit7B-MLX-8bit
• Coder 7B params* Coder-7B-Int4-W4A16Coder-7B-Int8-W8A16 Coder-7B-FP8-A16 Coder-7B-GGUF-V3-LOT Coder-7B-MLX-4bitCoder-7B-MLX-8bit
• 14B params* 14B-Int4-W4A1614B-Int8-W8A1614B-FP8-A16 14B-GGUF-V3-LOT 14B-MLX-4bit14B-MLX-8bit
• Coder 14B params* Coder-14B-Int4-W4A16Coder-14B-Int8-W8A16 Coder-14B-GGUF-V3-LOT Coder-14B-MLX-4bitCoder-14B-MLX-8bit
• 32B params* 32B-Int4-W4A1632B-Int8-W8A1632B-FP8-A16 32B-GGUF-V3-LOT 32B-MLX-2bit32B-MLX-4bit32B-MLX-8bit
• Coder 32B params* Coder-32B-Int4-W4A16Coder-32B-FP8 Coder-32B-GGUF-V3-LOT Coder-32B-MLX-4bitCoder-32B-MLX-8bit
• QwQ-Preview 32B params* QwQ-32B-Preview-Int4-W4A16QwQ-32B-Preview-FP8 QwQ-32B-GGUF-V3-LOT QwQ-32B-MLX-4bitQwQ-32B-MLX-8bit
• 72B params* - 72B-GGUF-V3-LOT 72B-MLX-2bit72B-MLX-4bit72B-MLX-8bit

Introduction

QwQ is the reasoning model of the Qwen series. Compared with conventional instruction-tuned models, QwQ, which is capable of thinking and reasoning, can achieve significantly enhanced performance in downstream tasks, especially hard problems. QwQ-32B is the medium-sized reasoning model, which is capable of achieving competitive performance against state-of-the-art reasoning models, e.g., DeepSeek-R1, o1-mini.

This repo contains the QwQ 32B model**, which has the following features:

Type: Causal Language Models

Training Stage: Pretraining & Post-training (Supervised Finetuning and Reinforcement Learning)

Architecture: transformers with RoPE, SwiGLU, RMSNorm, and Attention QKV bias

Number of Parameters: 32.5B

Number of Paramaters (Non-Embedding): 31.0B

Number of Layers: 64

Number of Attention Heads (GQA): 40 for Q and 8 for KV

Context Length: Full 131,072 tokens

Note:** For the best experience, please review the usage guidelines before deploying QwQ models.

You can try our demo or access QwQ models via QwenChat.

For more details, please refer to our blog, GitHub, and Documentation.

Requirements

QwQ is based on Qwen2.5, whose code has been in the latest Hugging face transformers . We advise you to use the latest version of transformers .

With transformers