Qwen3-235B-A22B-GPTQ-Int4

Qwen3-235B-A22B-GPTQ-Int4 模型卡片

模型概述

Qwen3-235B-A22B-GPTQ-Int4 是阿里云Qwen3系列中的量化模型，采用GPTQ 4位量化技术，总参数235B，激活参数22B。该模型属于因果语言模型，经过预训练和后训练。

主要能力

Qwen3系列是通义千问的最新一代大语言模型，提供密集模型和混合专家模型。核心能力包括：支持在单一模型内无缝切换思考模式（用于复杂逻辑推理、数学和编程）和非思考模式（用于高效通用对话）；推理能力显著提升，在数学、代码生成和常识逻辑推理方面超越前代模型；人类偏好对齐优秀，擅长创意写作、角色扮演、多轮对话和指令跟随；具备智能体能力，可精确集成外部工具，在复杂智能体任务中达到开源模型领先水平；支持100多种语言和方言，具备强大的多语言指令跟随和翻译能力。

输入输出格式

输入为文本提示，支持多轮对话。输出为生成的文本响应。在思考模式下，模型会生成think内容块（包含在<think >...</think >标签中），然后输出最终响应；在非思考模式下，模型直接输出最终响应，不生成思考内容。

运行要求

推荐使用SGLang（版本>=0.4.6.post1）或vLLM（版本==0.8.4）进行部署，以创建OpenAI兼容的API端点。目前transformers在多GPU推理GPTQ量化模型时存在问题，不推荐使用。模型原生支持32,768个token的上下文长度，使用YaRN方法可扩展至131,072个token。

基本用法

部署后，可通过API参数enable thinking控制模型模式。默认情况下，思考能力已启用。设置为enable thinking=True时启用思考模式，设置为enable thinking=False时禁用思考功能。在思考模式下，建议使用Temperature=0.6、TopP=0.95、TopK=20、MinP=0，不建议使用贪婪解码；在非思考模式下，建议使用Temperature=0.7、TopP=0.8、TopK=20、MinP=0。用户还可在提示中使用/think和/no think软开关来动态控制思考模式。

性能数据

根据基准测试，在GPQA、MMLU-Redux等数据集上，思考模式（GPTQ-int4）得分分别为75.1和92.0；非思考模式（GPTQ-int4）得分分别为62.8和89.0。

限制说明

思考模式和非思考模式不可同时启用。YaRN扩展仅建议在处理超长上下文时使用，启用静态YaRN可能影响短文本性能。默认最大位置嵌入为40,960，包含32,768个token用于输出预留。如果平均上下文长度不超过32,768个token，不建议启用YaRN。

许可证

请参考阿里云开源许可协议。