Qwen3-32B-AWQ

Qwen3-32B-AWQ 模型卡片

模型概述

Qwen3是Qwen系列最新一代大语言模型，提供密集模型和混合专家模型。模型基于大规模训练，在推理、指令遵循、代理能力和多语言支持方面实现突破性进展。

模型规格

类型：因果语言模型

训练阶段：预训练和后训练

参数数量：32.8B

非嵌入参数数量：31.2B

层数：64

注意力头数量：Q为64个，KV为8个

上下文长度：原生支持32,768 tokens，使用YaRN技术可扩展至131,072 tokens

量化方式：AWQ 4-bit

主要能力

支持在单一模型内无缝切换思考模式和非思考模式。思考模式适用于复杂逻辑推理、数学和编程任务；非思考模式适用于高效通用对话。推理能力超越前代QwQ和Qwen2.5 instruct模型。在数学、代码生成和常识逻辑推理方面表现优异。擅长创意写作、角色扮演、多轮对话和指令遵循，提供更自然、更具吸引力的对话体验。具备强大的代理能力，可精确集成外部工具，在复杂代理任务中达到开源模型领先水平。支持100种以上语言和方言，具备强大的多语言指令遵循和翻译能力。

输入输出

输入：文本形式的用户提示或对话，可包含系统消息和历史对话记录

输出：文本形式的响应，在思考模式下会包含<think >...</think >块包裹的推理过程

运行要求

推荐使用transformers 0.4.6.post1或更高版本、vLLM 0.8.5或更高版本、SGLang进行推理。原生支持最高32,768 tokens的上下文长度。使用YaRN技术可处理最长131,072 tokens的长文本。

基本用法

模型默认启用思考模式。通过设置enable thinking=True启用思考模式，模型将生成包含推理过程的响应；设置enable thinking=False禁用思考模式，模型直接生成最终响应，不包含推理过程。

思考模式推荐参数：Temperature=0.6，TopP=0.95，TopK=20，MinP=0。建议将输出长度设置为32,768 tokens以获得最佳性能。对于极高复杂度的数学和编程问题，建议设置最大输出长度为38,912 tokens。

非思考模式推荐参数：Temperature=0.7，TopP=0.8，TopK=20，MinP=0。

对于量化模型，建议将presence penalty参数设置为1.5以减少重复生成。

限制

不建议在短文本处理场景下启用YaRN，这可能导致性能下降。默认最大位置嵌入设置为40,960，其中32,768 tokens预留给输出，8,192 tokens用于常规提示。如果平均上下文长度不超过32,768 tokens，不建议启用YaRN。静态YaRN的缩放因子是固定的，可能对较短文本的性能产生影响。

许可证

请参阅项目官方文档获取许可证相关信息。