Qwen3-32B-MLX-8bit

# Qwen3-32B-MLX-8bit 模型卡片

模型概述

Qwen3-32B-MLX-8bit是阿里云Qwen系列最新一代大语言模型，采用密集架构设计。

• *基础参数：**

• 类型：因果语言模型
• 训练阶段：预训练与后训练
• 参数总量：32.8B
• 非嵌入参数：31.2B
• 层数：64
• 注意力头数量：Q头64个，KV头8个
• 上下文长度：原生32,768 tokens，使用YaRN技术可扩展至131,072 tokens

## 主要能力

• *思考模式切换**：支持在同一模型内无缝切换思考模式（用于复杂逻辑推理、数学和编程）和非思考模式（用于高效通用对话），可根据场景需求获得最优性能。

• *推理能力**：在数学、代码生成和常识逻辑推理方面显著超越前代QwQ-32B（思考模式）和Qwen2.5-Instruct模型（非思考模式）。

• *人类偏好对齐**：在创意写作、角色扮演、多轮对话和指令遵循方面表现出色，提供更自然、更具吸引力的对话体验。

• *智能体能力**：支持与外部工具的精确集成，在复杂智能体任务中达到开源模型领先性能。

• *多语言支持**：支持100多种语言和方言，具备强大的多语言指令跟随和翻译能力。

## 输入输出

• *输入格式**：支持多轮对话，可通过系统消息或用户提示中的/think和/no think指令动态切换思考模式。

• *输出格式**：思考模式下输出包含在<think >...</think >块中的推理过程，随后是最终回复；非思考模式下直接输出最终回复。

• *输出长度建议**：大多数查询建议使用32,768 tokens输出长度；数学和编程竞赛等高复杂度问题建议设置最大输出长度为38,912 tokens。

运行要求

• *框架依赖**：需要transformers（版本≥4.52.4）和mlx lm（版本≥0.25.2）。

• *长文本处理**：处理超过32,768 tokens的对话时，建议使用RoPE缩放技术；使用YaRN方法可支持最长131,072 tokens的上下文。

• *注意事项**：所有开源框架实现的是静态YaRN，缩放因子在整个输入过程中保持不变，可能影响短文本性能。建议仅在处理长上下文时启用YaRN配置。

基本用法

• *启用思考模式**：在tokenizer.apply_chat_template中设置enable thinking=True或不设置（默认为True）。模型将生成<think >...</think >块。

• *禁用思考模式**：设置enable thinking=False，模型将不生成任何思考内容，功能与Qwen2.5-Instruct模型一致，适用于需要提升效率的场景。

• *软切换机制**：当enable thinking=True时，可在用户提示或系统消息中添加/think和/no think来动态切换思考模式，模型将遵循多轮对话中最新的指令。

• *智能体使用**：建议使用Qwen-Agent以充分发挥模型的工具调用能力，该框架内置了工具调用模板和解析器。

## 采样参数建议

• *思考模式**：Temperature=0.6，TopP=0.95，TopK=20，MinP=0。建议不使用贪婪解码，可能导致性能下降和无限重复。

• *非思考模式**：Temperature=0.7，TopP=0.8，TopK=20，MinP=0。

• *重复控制**：可调整presence penalty参数（0到2之间）减少无限重复，但较高值可能导致语言混用和性能轻微下降。

限制

• 思考模式下不建议使用贪婪解码
• 静态YaRN可能影响短文本性能
• 多轮对话中历史输出应仅包含最终回复部分，不需包含思考内容

许可证

如需引用本工作，请按相关学术规范进行引用。