Qwen3-30B-A3B-MLX-bf16

# Qwen3-30B-A3B-MLX-bf16 模型卡片

模型概述

Qwen3-30B-A3B 是一款基于 Transformer 架构的因果语言模型，采用混合专家（MoE）架构。该模型在预训练和后训练阶段完成开发，总参数量为 30.5B，激活参数量为 3.3B。非嵌入参数量为 29.9B，包含 48 层网络结构。模型采用分组查询注意力机制（GQA），注意力头数量为 32 个 Q 头和 4 个 KV 头。MoE 部分共包含 128 个专家模块，每次推理激活 8 个专家。

## 主要能力

该模型具备以下核心能力：

• *思考模式与非思考模式切换**：支持在同一模型内无缝切换思考模式（用于复杂逻辑推理、数学和编程任务）和非思考模式（用于高效通用对话），可根据不同场景优化性能表现。

• *推理能力增强**：在数学、代码生成和常识逻辑推理方面的表现超越前代 QwQ-32B（思考模式）和 Qwen2.5-Instruct 模型（非思考模式）。

• *人类偏好对齐**：在创意写作、角色扮演、多轮对话和指令遵循方面表现出色，提供更自然、更具吸引力的对话体验。

• *代理能力**：支持与外部工具的精确集成，在复杂代理任务中达到开源模型领先水平。

• *多语言支持**：支持超过 100 种语言和方言，具备强大的多语言指令遵循和翻译能力。

## 输入输出

• *输入格式**：文本提示（Prompt），支持用户消息和系统消息的对话格式。

• *输出格式**：文本响应。在思考模式下，模型输出包含 `<think >...< /think>` 标签包裹的推理过程，随后是最终回复；在非思考模式下，模型直接输出最终回复。

• *上下文长度**：原生支持 32,768 个 Token，使用 YaRN 方法可扩展至 131,072 个 Token。

运行要求

• *框架依赖**：
• transformers ≥ 4.52.4
• mlx lm ≥ 0.25.2

• *硬件建议**：建议使用高性能 GPU 运行，具体硬件要求请参考官方文档和博客。

• *推理框架支持**：支持 transformers、mlx lm、llama.cpp、vLLM、SGLang 等主流推理框架。

基本用法

• *启用思考模式**：设置 `enable thinking=True` 或使用默认值。模型将生成推理过程（`<think >` 块）并随后给出最终回答。

• *禁用思考模式**：设置 `enable thinking=False`。模型将直接生成最终回复，不包含推理过程。

• *软切换机制**：当 `enable thinking=True` 时，用户可在提示中使用 `/think` 和 `/no_think` 标签动态切换思考模式。

• *采样参数建议**：
• 思考模式：Temperature=0.6，TopP=0.95，TopK=20，MinP=0
• 非思考模式：Temperature=0.7，TopP=0.8，TopK=20，MinP=0
• 重要提示：思考模式下请勿使用贪婪解码（greedy decoding），可能导致性能下降和无限重复

• *输出长度建议**：大多数查询建议设置输出长度为 32,768 个 Token；数学和编程竞赛等复杂问题建议设置为 38,912 个 Token。

• *长文本处理**：当对话总长度超过 32,768 个 Token 时，建议使用 YaRN 技术扩展上下文长度。YaRN 目前已被多个推理框架支持。

限制

• *采样限制**：思考模式下禁止使用贪婪解码，否则可能导致性能退化和无限重复。

• *YaRN 使用注意**：开源框架实现的 YaRN 为静态缩放，缩放因子不随输入长度变化，可能对短文本性能产生影响。建议仅在处理长上下文时启用 YaRN，并可根据实际应用场景调整缩放因子。

• *多轮对话注意**：历史消息中应仅包含模型的最终输出部分，无需包含思考内容。

许可证

请参考官方 GitHub 仓库获取具体的许可证信息。