Qwen3-4B

Qwen3-4B 模型卡片

模型概述

Qwen3是Qwen系列最新一代大语言模型，提供密集模型和混合专家模型。Qwen3-4B是基于广泛训练的基础模型，在推理、指令遵循、智能体能力和多语言支持方面带来突破性进展。

主要能力

无缝切换思考模式和非思考模式：单一模型支持在复杂逻辑推理、数学、编码的高效思考模式与通用对话的非思考模式之间灵活切换。

推理能力显著提升：在数学、代码生成和常识逻辑推理方面超越前代QwQ和Qwen2.5 instruct模型。

优秀的人类偏好对齐：擅长创意写作、角色扮演、多轮对话和指令遵循，提供更自然、更具吸引力的对话体验。

智能体能力：支持在思考和非思考模式下精确集成外部工具，在复杂智能体任务中达到开源模型领先性能。

多语言支持：支持100多种语言和方言，具备强大的多语言指令遵循和翻译能力。

输入输出

输入格式：支持文本对话输入，可通过系统消息或用户提示中的/think和/no think标签动态控制思考模式。

输出格式：思考模式下输出包含think内容块和最终回复；非思考模式下直接输出最终回复。

上下文长度：原生支持32,768个tokens，使用YaRN方法可扩展至131,072个tokens。

运行要求

参数规模：总参数4.0B，非嵌入参数3.6B，层数36层，注意力头采用GQA（Q头32个，KV头8个）。

框架支持：推荐使用最新版本Hugging Face transformers（0.4.6.post1或更高）、vLLM（0.8.5或更高）、SGLang。也支持Ollama、LMStudio、MLX-LM、llama.cpp、KTransformers等本地应用。

软件要求：使用YaRN功能时建议升级transformers>=4.51.0以避免警告。

基本用法

思考模式启用：默认启用思考模式，模型将使用推理能力提升回复质量。推荐采样参数：Temperature=0.6，TopP=0.95，TopK=20，MinP=0。请勿使用贪婪解码。

思考模式禁用：设置enable thinking=False可完全禁用思考行为，提升效率。非思考模式推荐采样参数：Temperature=0.7，TopP=0.8，TopK=20，MinP=0。

动态切换：在enable thinking=True时，可在用户提示或系统消息中添加/think和/no think标签实现多轮对话中逐轮切换思考模式。

长文本处理：对于总长度显著超过32,768 tokens的对话，建议使用RoPE缩放技术处理长文本。YaRN方法已在transformers、llama.cpp、vLLM、SGLang等框架中支持。

输出长度建议：大多数查询建议使用32,768 tokens输出长度；数学和编程竞赛等高度复杂问题的基准测试建议设置最大输出长度为38,912 tokens。

输出格式标准化：数学问题建议在提示中包含"Please reason step by step, and put your final answer within \boxed{}."；多选题建议添加JSON结构要求答案格式。

多轮对话：历史消息中的模型输出应仅包含最终输出部分，无需包含思考内容。

限制

静态YaRN缩放：所有主流开源框架实现的YaRN为静态缩放，缩放因子在整个输入长度范围内保持恒定，可能影响较短文本的性能。建议仅在处理长上下文时启用YaRN配置。

默认最大位置嵌入：config.json中的默认最大位置嵌入设置为40,960，其中预留32,768个tokens用于输出，8,192个tokens用于典型提示。如果平均上下文长度不超过32,768个tokens，不建议启用YaRN。

重复问题：如遇到明显的无限重复问题，可将presence penalty参数调整在0到2之间以减少重复，但较高值可能导致语言混合和性能轻微下降。

许可证

如需引用本工作，请参考相关文献。