Qwen3-30B-A3B-MLX-6bit

Qwen3-30B-A3B-MLX-6bit 模型卡片

模型概述

Qwen3是通义千问系列最新一代大型语言模型，提供密集模型和混合专家模型。模型在推理、指令遵循、代理能力和多语言支持方面有显著提升。

模型参数

类型：因果语言模型

训练阶段：预训练与后训练

总参数：30.5B，激活参数3.3B

非嵌入参数：29.9B

层数：48

注意力头数（GQA）：Q头32个，KV头4个

专家数：128

激活专家数：8

上下文长度：原生32,768 tokens，使用YaRN可达131,072 tokens

主要能力

支持在单一模型内无缝切换思考模式和非思考模式。思考模式适用于复杂逻辑推理、数学和编程任务；非思考模式适用于高效通用对话。推理能力超越前代QwQ-32B和Qwen2.5-Instruct模型。在数学、代码生成和常识逻辑推理方面表现优异。擅长创意写作、角色扮演、多轮对话和指令遵循，提供更自然、更具吸引力的对话体验。具备强大的代理能力，可精确集成外部工具，在复杂代理任务中达到开源模型领先水平。支持100多种语言和方言，具备多语言指令跟随和翻译能力。

输入输出

输入：文本提示，支持最多32,768 tokens原生上下文，使用YaRN技术可扩展至131,072 tokens

输出：文本响应，思考模式下会生成think内容块

运行要求

依赖transformers（≥4.52.4）和mlx lm（≥0.25.2），建议使用最新版本。处理长文本时需要RoPE缩放技术。

基本用法

启用思考模式：设置enable thinking=True，模型会生成think内容块后跟最终响应。建议参数：Temperature=0.6，TopP=0.95，TopK=20，MinP=0。不建议使用贪婪解码。

禁用思考模式：设置enable thinking=False，模型不生成think内容块，功能与Qwen2.5-Instruct模型相同。建议参数：Temperature=0.7，TopP=0.8，TopK=20，MinP=0。

软切换：在enable thinking=True时，可在用户提示或系统消息中添加/think和/no think来动态控制思考模式。

工具调用：推荐使用Qwen-Agent框架，可通过MCP配置文件或集成工具定义可用工具。

最佳实践

采样参数：思考模式使用Temperature=0.6，TopP=0.95，TopK=20；非思考模式使用Temperature=0.7，TopP=0.8，TopK=20。可调整presence penalty参数（0-2）减少重复，但较高值可能导致语言混用。

输出长度：大多数查询建议输出32,768 tokens；复杂数学和编程竞赛问题建议38,912 tokens。

输出格式标准化：数学问题提示"请逐步推理，并将最终答案放在\boxed{}中"；多选题使用JSON格式指定答案字段。

多轮对话：历史输出只需包含最终输出部分，无需包含思考内容。

许可证

如需引用本工作，请按相关引用格式标注。