闲社服务运行正常AI智能体自动化平台
中文
语言 / Language简体中文SelectedEnglish

选择显示语言

QwQ-32B-FP8

okwinds/QwQ-32B-FP8

发布机构okwinds

下载访问条件魔搭来源

正式版 QwQ-32B 的量化版本已出,用了更优质的数据做校准。欢迎品尝:QwQ-32B-Int8-W8A16 友情提醒,推理本模型时,请按照如下官方指引: 注意:建议在运行这些模型时设置适当的温度(0.5 到 0.7 之间),否则您可能会遇到无休止的重复或不连贯的输出问题。

文字对话
模型详情

模型介绍

中文整理

正式版 QwQ-32B 的量化版本已出,用了更优质的数据做校准。欢迎品尝:QwQ-32B-Int8-W8A16

友情提醒,推理本模型时,请按照如下官方指引:

注意:建议在运行这些模型时设置适当的温度(0.5 到 0.7 之间),否则您可能会遇到无休止的重复或不连贯的输出问题。

📖 关于量化损失方面的研究,可阅读公众号“觉察流”文章👇

《Reason Model 的“瘦身计划”:量化技术的得与失》

通义千问 QwQ-32B-FP8

原模型 Qwen/QwQ-32B

作者在此 👇🏻 扫一扫

下载

SDK下载

Git下载

模型概述

QwQ-32B-FP8 是一个基于 通义千问 QwQ-32B 的 FP8 量化模型。

  • *模型名称:** QwQ-32B-FP8
  • *模型架构:** Qwen2.5
  • *权重量化:** FP8

该模型通过将 qwen/QwQ-32B 的权重量化为 FP8 数据类型而实现。

量化过程将每个参数从 16bit 减少到 8bit,将模型占用磁盘空间大小,以及推理时加载模型需要的GPU显存空间,减少到了大约为原模型的1/2。

FP8(Floating Point 8-bit)是一种8位浮点数数据格式,由Nvidia、Arm、Intel联合推出,旨在加速深度学习的训练和推理过程。

本模型的量化,采用 F8 E4M3 数据类型对权重进行 dynamic 量化,尽可能减少模型量化后所带来的精度损失。

注意:本模型需要 compute capability > 8.0(Ampere、Ada Lovelace、Hopper 架构)的 Nvidia GPU 来支持 FP8 **混合精度**计算。

部署推理

推荐使用 vLLM

Openai api 兼容模式

附录 QwQ-32B 介绍

Qwen2.5 同系列模型

同系量化

  • *Model** GPTQ Compression & FP8 GGUF **MLX** (macOS)
  • ----------- ---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- -------------------------------------------------------------------------------------------- ----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
  • 3B params* - 3B-GGUF-V3-LOT 3B-MLX-4bit3B-MLX-8bit
  • 7B params* 7B-Int4-W4A167B-Int8-W8A167B-FP8-A16 Coder-7B-Instruct-FP8 7B-GGUF-V3-LOT 7B-MLX-4bit7B-MLX-8bit
  • Coder 7B params* Coder-7B-Int4-W4A16Coder-7B-Int8-W8A16 Coder-7B-FP8-A16 Coder-7B-GGUF-V3-LOT Coder-7B-MLX-4bitCoder-7B-MLX-8bit
  • 14B params* 14B-Int4-W4A1614B-Int8-W8A1614B-FP8-A16 14B-GGUF-V3-LOT 14B-MLX-4bit14B-MLX-8bit
  • Coder 14B params* Coder-14B-Int4-W4A16Coder-14B-Int8-W8A16 Coder-14B-GGUF-V3-LOT Coder-14B-MLX-4bitCoder-14B-MLX-8bit
  • 32B params* 32B-Int4-W4A1632B-Int8-W8A1632B-FP8-A16 32B-GGUF-V3-LOT 32B-MLX-2bit32B-MLX-4bit32B-MLX-8bit
  • Coder 32B params* Coder-32B-Int4-W4A16Coder-32B-FP8 Coder-32B-GGUF-V3-LOT Coder-32B-MLX-4bitCoder-32B-MLX-8bit
  • QwQ-Preview 32B params* QwQ-32B-Preview-Int4-W4A16QwQ-32B-Preview-FP8 QwQ-32B-GGUF-V3-LOT QwQ-32B-MLX-4bitQwQ-32B-MLX-8bit
  • 72B params* - 72B-GGUF-V3-LOT 72B-MLX-2bit72B-MLX-4bit72B-MLX-8bit

Introduction

QwQ is the reasoning model of the Qwen series. Compared with conventional instruction-tuned models, QwQ, which is capable of thinking and reasoning, can achieve significantly enhanced performance in downstream tasks, especially hard problems. QwQ-32B is the medium-sized reasoning model, which is capable of achieving competitive performance against state-of-the-art reasoning models, e.g., DeepSeek-R1, o1-mini.

This repo contains the QwQ 32B model**, which has the following features:

Type: Causal Language Models

Training Stage: Pretraining & Post-training (Supervised Finetuning and Reinforcement Learning)

Architecture: transformers with RoPE, SwiGLU, RMSNorm, and Attention QKV bias

Number of Parameters: 32.5B

Number of Paramaters (Non-Embedding): 31.0B

Number of Layers: 64

Number of Attention Heads (GQA): 40 for Q and 8 for KV

Context Length: Full 131,072 tokens

Note:** For the best experience, please review the usage guidelines before deploying QwQ models.

You can try our demo or access QwQ models via QwenChat.

For more details, please refer to our blog, GitHub, and Documentation.

Requirements

QwQ is based on Qwen2.5, whose code has been in the latest Hugging face transformers . We advise you to use the latest version of transformers .

With transformers

优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。

你将获得什么

完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。

完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。

使用前须知

运行环境

运行模型需要的设备、工具与依赖,以原作者说明为准。

授权范围

是否允许商用、修改和分发,请查看模型许可证。

闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。

返回顶部