Qwen3-4B-MLX-4bit

# Qwen3-4B-MLX-4bit 模型卡片

模型概述

Qwen3是Qwen系列最新一代大语言模型，提供密集模型和混合专家模型。Qwen3-4B是一款参数量为40亿的语言模型，在推理、指令遵循、代理能力和多语言支持方面具有显著提升。

## 主要能力

• **思考模式切换**：支持在单一模型内无缝切换思考模式（用于复杂逻辑推理、数学和编程）和非思考模式（用于高效通用对话）
• **推理能力增强**：在数学、代码生成和常识逻辑推理方面超越前代QwQ和Qwen2.5 instruct模型
• **人类偏好对齐**：在创意写作、角色扮演、多轮对话和指令遵循方面表现优异，提供更自然、更具吸引力的对话体验
• **代理能力**：支持在思考和非思考模式下精确集成外部工具，在复杂代理任务中达到开源模型领先性能
• **多语言支持**：支持100多种语言和方言，具备强大的多语言指令遵循和翻译能力

## 模型规格

• **类型**：因果语言模型
• **训练阶段**：预训练和后训练
• **参数数量**：40亿
• **非嵌入参数数量**：36亿
• **层数**：36
• **注意力头数量**：Q为32，KV为8
• **上下文长度**：原生32,768 tokens，使用YaRN可达131,072 tokens

运行要求

• transformers >= 4.52.4
• mlx lm >= 0.25.2

基本用法

• *思考模式（enable thinking=True）**

默认启用思考能力，模型会生成think内容块，然后输出最终回复。

推荐参数：Temperature=0.6，TopP=0.95，TopK=20，MinP=0。不建议使用贪婪解码，可能导致性能下降和无限重复。

• *非思考模式（enable thinking=False）**

完全禁用思考行为，模型不生成think内容块，类似于Qwen2.5-Instruct模型。

推荐参数：Temperature=0.7，TopP=0.8，TopK=20，MinP=0。

• *软切换机制**

用户可通过在提示中添加/think和/no think来动态控制模型的思考模式。

• *长文本处理**

原生支持最高32,768 tokens的上下文长度。使用YaRN方法可支持最长131,072 tokens的上下文。建议仅在处理长上下文时启用YaRN，修改config.json中的rope scaling配置。

• *代理使用**

推荐使用Qwen-Agent以充分发挥模型的工具调用能力。

## 最佳实践

• **采样参数**：思考模式使用Temperature=0.6，非思考模式使用Temperature=0.7。可调整presence penalty参数（0-2）减少重复，但较高值可能导致语言混合
• **输出长度**：大多数查询建议使用32,768 tokens输出长度；复杂数学和编程竞赛建议38,912 tokens
• **输出格式标准化**：数学问题提示包含"Please reason step by step, and put your final answer within \boxed{}."；多选题使用JSON格式标准化回复
• **历史消息**：多轮对话中历史消息只需包含最终输出，不需要包含思考内容

限制

• 所有开源框架实现的是静态YaRN，缩放因子在整个输入长度中保持不变，可能影响短文本性能
• 默认最大位置嵌入设置为40,960，预留32,768 tokens用于输出，8,192 tokens用于提示
• 思考模式下不建议使用贪婪解码

许可证

如需引用本工作，请按相关引用格式注明。