Qwen3-30B-A3B-Thinking-2507-FP8

Qwen3-30B-A3B-Thinking-2507

模型用途

这是一个因果语言模型，经过预训练和后训练，主要用于需要深度推理的高复杂度任务，包括逻辑推理、数学、科学、编码以及通常需要人类专业知识的学术基准测试。该模型仅支持思考模式。

主要能力

在推理任务上性能显著提升，包括逻辑推理、数学、科学、编码和学术基准测试。通用能力明显增强，包括指令遵循、工具使用、文本生成和对人类偏好的对齐。支持原生262,144个token的长上下文理解。该版本增加了思考长度，建议仅用于高度复杂的推理任务。

输入输出

支持文本输入和文本输出。原生上下文长度为262,144个token。建议大多数查询使用32,768个token的输出长度；对于数学和编程竞赛等高难度基准测试，建议设置最大输出长度为81,920个token。

运行要求

模型总参数为30.5B，激活参数为3.3B。非嵌入参数为29.9B。层数为48层。注意力头采用GQA配置：Q有32个头，KV有4个头。专家总数为128个，激活专家数为8个。提供FP8量化版本（块大小为128的细粒度FP8量化）和原始bfloat16版本。建议使用transformers 0.4.6.post1或更高版本，或vllm 0.8.5或更高版本进行推理。如遇内存不足，可考虑减少上下文长度，但强烈建议尽可能使用大于131,072的上下文长度。

基本用法

使用最新版本的Hugging Face transformers。可通过SGLang、vllm等推理框架加载模型，也支持Ollama、LMStudio、MLX-LM、llama.cpp和KTransformers等本地应用。推荐使用Qwen-Agent以充分发挥模型的工具调用能力。采样参数建议：Temperature=0.6、TopP=0.95、TopK=20、MinP=0；存在惩罚参数可在0到2之间调整以减少重复，但较高值可能导致语言混合和性能下降。对于数学问题，提示中应包含"Please reason step by step, and put your final answer within \boxed{}."；对于选择题，使用JSON结构指定答案字段仅包含选项字母。在多轮对话中，历史输出只需包含最终输出部分，无需包含思考内容。

限制

该模型仅支持思考模式，不需要也不支持指定enable thinking=True。默认聊天模板会自动包含标签，因此模型输出仅包含标签是正常现象。建议仅将本模型用于高度复杂的推理任务。

许可证

模型权重采用阿里巴巴大模型许可协议。