Qwen3-4B-Thinking-2507

# Qwen3-4B-Thinking-2507 模型卡片

模型概述

Qwen3-4B-Thinking-2507 是阿里云推出的因果语言模型，采用预训练和后训练相结合的方式构建。该模型拥有40亿参数，36层网络结构，使用分组查询注意力机制（Q注意力头32个，KV注意力头8个），非嵌入参数约36亿。

## 主要能力

• *推理能力**：在逻辑推理、数学、科学、编码及学术基准测试中表现显著提升，特别在需要人类专业知识的任务中表现优异。

• *通用能力**：指令遵循、工具使用、文本生成和人类偏好对齐能力得到增强。

• *长上下文**：原生支持262,144个token的上下文长度，具备强大的长文本理解能力。

• *思考模式**：该版本仅支持思考模式，默认启用，无需手动设置enable thinking=True。模型输出会自动包含思考内容。

## 输入输出

• *输入**：文本提示（支持多轮对话）

• *输出**：包含思考过程的文本回复，最终答案位于思考内容之后

运行要求

• *软件依赖**：transformers>=0.4.6.post1 或 vllm>=0.8.5

• *内存建议**：如遇内存不足，可减少上下文长度；但由于模型推理需要较长token序列，建议尽可能使用超过131,072的上下文长度。

• *本地部署**：支持Ollama、LMStudio、MLX-LM、llama.cpp和KTransformers等应用。

基本用法

通过Hugging Face transformers加载模型：

```

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen3-4B-Thinking-2507")

tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen3-4B-Thinking-2507")

```

支持使用SGLang或vLLM创建OpenAI兼容的API端点。

• *工具调用**：推荐使用Qwen-Agent以充分发挥模型的代理能力，可通过MCP配置文件或集成其他工具定义可用功能。

## 最佳实践

• *采样参数**：建议使用Temperature=0.6、TopP=0.95、TopK=20、MinP=0。可调整presence penalty参数（0-2）减少重复，但较高值可能导致语言混排。

• *输出长度**：大多数查询建议设置32,768个token；数学和编程竞赛等高难度任务建议设置81,920个token。

• *输出格式标准化**：数学问题提示中加入"Please reason step by step, and put your final answer within \boxed{}."；多选题使用JSON格式指定答案字段。

• *多轮对话**：历史消息只需包含最终输出，无需包含思考内容。

## 性能表现

在多项基准测试中表现优异：AIME25数学推理81.3分，LiveCodeBench编码55.2分，IFEval指令遵循87.4分，BFCL-v3代理任务71.2分。

许可证

该模型受阿里云服务协议约束。如需引用该工作，请参考阿里云官方引用格式。