Qwen3-32B-MLX-bf16

# Qwen3-32B-MLX-bf16 模型卡片

模型概述

Qwen3是Qwen系列最新一代大语言模型，提供密集模型和混合专家模型。Qwen3-32B基于大规模训练，在推理、指令遵循、代理能力和多语言支持方面实现突破性进展。

## 主要能力

• *思考模式与非思考模式切换**：支持在同一模型内无缝切换思考模式（用于复杂逻辑推理、数学和编程）和非思考模式（用于高效通用对话），确保在各种场景下获得最佳性能。

• *推理能力增强**：在数学、代码生成和常识逻辑推理方面超越前代QwQ-32B（思考模式）和Qwen2.5-Instruct模型（非思考模式）。

• *人类偏好对齐**：在创意写作、角色扮演、多轮对话和指令遵循方面表现出色，提供更自然、更具吸引力的对话体验。

• *代理能力**：支持在思考和非思考模式下精确集成外部工具，在复杂代理任务中达到开源模型领先性能。

• *多语言支持**：支持100+种语言和方言，具备强大的多语言指令遵循和翻译能力。

## 模型参数

• 类型：因果语言模型
• 训练阶段：预训练与后训练
• 参数数量：32.8B
• 非嵌入参数数量：31.2B
• 层数：64
• 注意力头数量（GQA）：Q头64个，KV头8个
• 上下文长度：原生32,768 tokens，使用YaRN技术可达131,072 tokens

运行要求

• transformers ≥ 4.52.4
• mlx lm ≥ 0.25.2

## 输入输出

• *输入**：文本形式的用户指令或对话，可包含系统消息和历史对话内容。支持通过/think和/no_think标签在多轮对话中动态切换思考模式。

• *输出**：模型生成的文本响应。在思考模式下，响应包含think内容块（用<think >...</think >包裹）和最终回答；在非思考模式下，仅输出最终回答。

基本用法

• *启用思考模式**：设置enable thinking=True或使用默认值，模型将生成思考内容块。建议参数：Temperature=0.6，TopP=0.95，TopK=20，MinP=0。禁止使用贪婪解码，可能导致性能下降和无限重复。

• *禁用思考模式**：设置enable thinking=False，模型不生成思考内容，类似于Qwen2.5-Instruct模型。建议参数：Temperature=0.7，TopP=0.8，TopK=20，MinP=0。

• *软切换机制**：在enable thinking=True时，可在用户提示或系统消息中添加/think和/no_think标签逐轮切换思考模式。

• *长文本处理**：原生支持32,768 tokens上下文长度。使用YaRN技术可扩展至131,072 tokens。config.json中默认最大位置嵌入设为40,960（预留32,768用于输出，8,192用于提示）。

• *代理工具调用**：推荐使用Qwen-Agent以充分发挥模型的代理能力，支持MCP配置或自定义工具集成。

## 最佳实践

• 采样参数：思考模式使用Temperature=0.6、TopP=0.95、TopK=20；非思考模式使用Temperature=0.7、TopP=0.8、TopK=20。可调整presence penalty参数（0-2）减少重复，但较高值可能导致语言混合。

• 输出长度：大多数查询建议使用32,768 tokens输出长度；复杂数学和编程竞赛题目建议38,912 tokens。

• 输出格式标准化：数学问题提示“请逐步推理，并将最终答案放在\boxed{}中”；多选题提示包含JSON结构指定答案格式。

• 历史消息处理：多轮对话中历史输出仅需包含最终回答部分，无需包含思考内容。

限制

• 静态YaRN缩放因子在短文本上可能影响性能，建议仅在处理长上下文时启用
• 贪婪解码在思考模式下可能导致无限重复
• 思考模式需要更高的计算资源

许可证

如需引用本工作，请参照相关引用格式。