QwQ-32B-Preview-Int4-W4A16

正式版 QwQ-32B 的量化版本已出，用了更优质的数据做校准。欢迎品尝：QwQ-32B-Int4-W4A16

通义千问 QwQ-32B-Preview-Int4-W4A16 量化高精校准

原模型 qwen/QwQ-32B-Preview

友情提醒，推理本模型时，请按照如下官方指引：

注意：建议在运行这些模型时设置适当的温度（0.5 到 0.7 之间），否则您可能会遇到无休止的重复或不连贯的输出问题。

📖 关于量化损失方面的研究，可阅读公众号“觉察流”文章👇

《Reason Model 的“瘦身计划”：量化技术的得与失》

Qwen2.5 同系列模型

Finetuned Model

• *Model tree**

 Base model - Qwen/Qwen2.5-32B

  ╰─ Finetuned - Qwen/Qwen2.5-32B-Instruct

          ├─ Finetuned - CompassJudger-1

         └─ Finetuned - Rombos-LLM-Qwen2.5

同系量化

• *Model** GPTQ Compression & FP8 GGUF **MLX** (macOS)
• ----------- ---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- -------------------------------------------------------------------------------------------- ----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
• 3B params* - 3B-GGUF-V3-LOT 3B-MLX-4bit3B-MLX-8bit
• 7B params* 7B-Int4-W4A167B-Int8-W8A167B-FP8-A16 Coder-7B-Instruct-FP8 7B-GGUF-V3-LOT 7B-MLX-4bit7B-MLX-8bit
• Coder 7B params* Coder-7B-Int4-W4A16Coder-7B-Int8-W8A16 Coder-7B-FP8-A16 Coder-7B-GGUF-V3-LOT Coder-7B-MLX-4bitCoder-7B-MLX-8bit
• 14B params* 14B-Int4-W4A1614B-Int8-W8A1614B-FP8-A16 14B-GGUF-V3-LOT 14B-MLX-4bit14B-MLX-8bit
• Coder 14B params* Coder-14B-Int4-W4A16Coder-14B-Int8-W8A16 Coder-14B-GGUF-V3-LOT Coder-14B-MLX-4bitCoder-14B-MLX-8bit
• 32B params* 32B-Int4-W4A1632B-Int8-W8A1632B-FP8-A16 32B-GGUF-V3-LOT 32B-MLX-2bit32B-MLX-4bit32B-MLX-8bit
• Coder 32B params* Coder-32B-Int4-W4A16Coder-32B-FP8 Coder-32B-GGUF-V3-LOT Coder-32B-MLX-4bitCoder-32B-MLX-8bit
• QwQ-Preview 32B params* QwQ-32B-Preview-Int4-W4A16QwQ-32B-Preview-FP8 QwQ-32B-GGUF-V3-LOT QwQ-32B-MLX-4bitQwQ-32B-MLX-8bit
• 72B params* - 72B-GGUF-V3-LOT 72B-MLX-2bit72B-MLX-4bit72B-MLX-8bit

模型概述

QwQ-32B-Preview-Int4-W4A16 是一个基于 通义千问 QwQ-32B-Preview 的 INT4 量化并校准的模型。

• *模型名称:** QwQ-32B-Preview-Int4-W4A16
• *模型架构:** Qwen2.5
• *权重量化:** INT4

该模型通过将 qwen/QwQ-32B-Preview 的权重量化为 INT4 数据类型而实现。

量化过程将每个参数从 16bit 减少到 4bit，将模型占用磁盘空间大小，以及推理时加载模型需要的GPU显存空间，减少到了大约为原模型的1/4。只有 transformer 中的 Linear 层权重是量化的，其他层均保持为原模型数据类型，采用了混合精度的计算方式，尽可能减少模型量化后所带来的精度损失。

量化本模型，使用了AutoGPTQ，采用 Symmetric group-wise 方式量化（group size : 128）。并在量化过程中，进行了数据校准，以提升模型生成精度，修复 gptq-int4 模型出现乱吐字和无限循环的问题（*如循环输出 !!!!!*）。

注意：本模型需要 compute capability > 8.0（Ampere、Ada Lovelace、Hopper 架构）的 Nvidia GPU 来支持 INT4 **混合精度**计算。

部署推理

推荐使用 vLLM

Openai api 兼容模式

附录 qwen/QwQ-32B-Preview 简介

QwQ-32B-Preview 是由 Qwen 团队开发的一个实验性研究模型，专注于提升人工智能推理能力。作为预览版，它展示了有潜力的分析能力，但同时也存在一些重要的局限性：

• **语言混合与代码切换**：模型可能会意外地混合语言或在不同语言之间切换，影响回答的清晰度。(本模型校准后有一定程度上的缓解)
• **递归推理循环**：在处理复杂逻辑问题时，模型偶尔会陷入递归推理模式，在相似思路中循环。这种行为虽然反映了模型试图全面分析的努力，但可能导致冗长而不够聚焦的回答。
• **安全与伦理考量**：尽管模型已具备基础安全管控，但仍需要进一步增强。它可能产生不恰当或存在偏见的回答，且与其他大型语言模型一样，可能受到对抗攻击的影响。我们强烈建议用户在生产环境中谨慎使用，并采取适当的安全防护措施。
• **性能和基准限制**：该模型在数学和编码方面表现优异，但在其他领域如常识推理和细微语言理解方面仍有改进空间。

Specification:

Type**: Causal Language Models

Training Stage**: Pretraining & Post-training

Architecture**: transformers with RoPE, SwiGLU, RMSNorm, and Attention QKV bias

Number of Parameters**: 32.5B

Number of Paramaters (Non-Embedding)**: 31.0B

Number of Layers**: 64

Number of Attention Heads (GQA)**: 40 for Q and 8 for KV

Context Length**: Full 32,768 tokens

模型表现

具体表现如下：

• GPQA：65.2%，展示了研究生水平的科学推理能力；
• AIME：50.0%，证明了强大的数学问题解决技能；
• MATH-500：90.6%，体现了在各类数学主题上的全面理解；
• LiveCodeBench：50.0%，验证了在实际编程场景中的出色表现。

这些成果充分体现了QwQ在分析和问题解决能力方面的显著进步，尤其是在需要深度推理的技术领域。

样例

User : 有个人想买几套餐具，到了店里发现，自己的钱可以买21把叉子和21个勺子，也够买28个小刀，但是，他想三样东西都买，而且要配成一套，并且把钱刚好花完，如果你是这个人，你会怎么买呢？

QwQ-32B-Preview-Int4-W4A16 : 这个题目挺有意思的。我得好好想想该怎么解决。首先，题目说这个人可以用他的钱买21把叉子和21个勺子，或者买28个小刀。他想要买这三种餐具，而且要配成一套，也就是每套里要有叉子、勺子和小刀，而且要把钱正好花完。

那我需要找出一种组合，使得购买的叉子、勺子和小刀的数量比例相同，而且总花费等于他所有的钱。

首先，我需要知道单个叉子、勺子和小刀的价格。不过，题目没有直接给出单价，只给了两种购买组合。

让我设一下变量：

设叉子的价格为f，勺子为s，小刀为k。

根据题意：

21f + 21s = 总钱数

或?

28k = 总钱数

因为两种购买方式花费相同，所以：

21f + 21s = 28k

我可以从这里找到一些关系。

也许我可以表示出f和s在 terms of k。

比如，21(f + s) = 28k

那么 f + s = (28k)/21 = 4k/3

好，f + s = 4k/3

现在，他要买x套餐具，每套包括一个叉子、一个勺子和一个小刀。

所以，总的花费是 x(f + s + k)

这个要等于总钱数，也就是28k。

所以：

x(f + s + k) = 28k

我把f + s = 4k/3代入：

x(4k/3 + k) = 28k

整理一下：

x(4k/3 + 3k/3) = 28k

x(7k/3) = 28k

两边消去k：

x(7/3) = 28

所以x = 28 * 3 / 7 = 12

所以，他可以买12套餐具，每套包含一个叉子、一个勺子和一个小刀。

但让我验证一下。

如果x=12，那么总花费是12(f + s + k)

我们已经知道f + s = 4k/3

所以，12(4k/3 + k) = 12*(7k/3) = 28k

这正是他的总钱数。

另外，如果他买21把叉子和21个勺子，花费是21(f + s) = 21*(4k/3) = 28k，这也符合。

或者买28个小刀，花费是28k。

所以，买12套，每套一个叉子、一个勺子和一个小刀，总共花费28k，正好花完所有钱。

看来这个答案是对的。

Final Answer

12

作者在此 👇🏻 扫一扫