Qwen3-30B-A3B-Instruct-2507

# Qwen3-30B-A3B-Instruct-2507 模型卡片

模型概述

Qwen3-30B-A3B-Instruct-2507是Qwen3-30B-A3B非思考模式的更新版本。

类型：因果语言模型

训练阶段：预训练和后训练

参数总量：30.5B，激活参数3.3B

非嵌入参数：29.9B

层数：48

注意力头数量（GQA）：Q头32个，KV头4个

专家数量：128

激活专家数量：8

上下文长度：原生支持262,144

## 主要能力

• 通用能力显著提升，包括指令遵循、逻辑推理、文本理解、数学、科学、编码和工具使用
• 多语言长尾知识覆盖大幅提升
• 主观和开放性任务中用户偏好对齐更佳，能提供更有帮助的回复和更高质量的文本生成
• 256K长上下文理解能力增强

## 输入输出

输入：文本提示

输出：文本回复

注意：此模型仅支持非思考模式，不生成shell命令

运行要求

• 建议使用GPU进行推理
• 支持使用vLLM或SGLang框架部署

基本用法

可通过Hugging Face下载模型：

```

export MODELNAME=Qwen3-30B-A3B-Instruct-2507

huggingface-cli download Qwen/${MODELNAME} --local-dir ${MODELNAME}

```

使用vLLM服务：

```

VLLM_ATTENTION_BACKEND=DUAL_CHUNK_FLASH_ATTN VLLM_USE_V1=0 \

vllm serve ./Qwen3-30B-A3B-Instruct-2507 \

• -tensor-parallel-size 4 \
• -max-model-len 1010000 \
• -enable-chunked-prefill \
• -max-num-batched-tokens 131072 \
• -enforce-eager \
• -max-num-seqs 1 \
• -gpu-memory-utilization 0.85

```

使用SGLang服务：

```

python3 -m sglang.launch server \

• -model-path ./Qwen3-30B-A3B-Instruct-2507 \
• -context-length 1010000 \
• -mem-frac 0.75 \
• -attention-backend dual_chunk_flash_attn \
• -tp 4 \
• -chunked-prefill-size 131072

```

限制

• 仅支持非思考模式
• 不生成shell命令

许可证

请参考模型发布方Qwen团队的许可证声明。

## 引用

```

@misc{qwen3technicalreport,

title={Qwen3 Technical Report},

author={Qwen Team},

year={2025},

eprint={2505.09388},

archivePrefix={arXiv},

primaryClass={cs.CL},

url={https://arxiv.org/abs/2505.09388},

}

```