Qwen3-32B-MLX-4bit

Qwen3-32B-MLX-4bit

模型概述

Qwen3是Qwen系列最新一代大语言模型，提供密集模型和混合专家模型。Qwen3-32B基于大规模训练，在推理、指令遵循、智能体能力和多语言支持方面实现突破性进展。

主要能力

支持在单一模型内无缝切换思考模式和非思考模式。思考模式适用于复杂逻辑推理、数学和编程任务；非思考模式适用于高效通用对话。推理能力超越前代QwQ-32B和Qwen2.5-Instruct模型。在创意写作、角色扮演、多轮对话和指令遵循方面表现出色，提供更自然、更具吸引力的对话体验。支持精确集成外部工具，在复杂智能体任务中达到开源模型领先水平。支持100种以上语言和方言，具备强大的多语言指令遵循和翻译能力。

模型规格

类型：因果语言模型

训练阶段：预训练与后训练

参数总量：328亿

非嵌入参数：312亿

层数：64

注意力头数量：64个Q头，8个KV头

上下文长度：原生支持32,768个tokens，使用YaRN可扩展至131,072个tokens

运行要求

建议使用transformers 4.52.4及以上版本和mlx lm 0.25.2及以上版本。

基本用法

模型默认启用思考能力。启用思考模式时，模型会生成think内容块，然后输出最终回复。禁用思考模式时，模型不生成think内容块，功能与Qwen2.5-Instruct模型相同。

用户可通过在提示词或系统消息中添加/think和/no think来动态切换思考模式。在多轮对话中，模型会遵循最新的指令。

长文本处理

模型原生支持32,768个tokens的上下文长度。对于总长度显著超过此限制的对话，建议使用RoPE缩放技术处理长文本。使用YaRN方法已在131,072个tokens的上下文长度下验证了模型性能。

最佳实践

采样参数：思考模式建议使用Temperature=0.6、TopP=0.95、TopK=20、MinP=0，不建议使用贪婪解码。非思考模式建议使用Temperature=0.7、TopP=0.8、TopK=20、MinP=0。

输出长度：大多数查询建议使用32,768个tokens的输出长度。对于数学和编程竞赛等高度复杂问题的基准测试，建议将最大输出长度设置为38,912个tokens。

输出格式标准化：数学问题建议在提示词中包含“请逐步推理，并将最终答案放在\boxed{}中”。多选题建议添加JSON结构以标准化回复格式。

多轮对话：历史模型输出应仅包含最终输出部分，无需包含思考内容。

许可证

如需引用本工作，请参考相关引用信息。