Qwen3-0.6B-MLX-4bit

# Qwen3-0.6B-MLX-4bit 模型卡片

模型概述

Qwen3-0.6B是一款因果语言模型，采用预训练和后训练相结合的方式开发。该模型是Qwen系列最新一代大型语言模型，提供密集模型和混合专家模型。

## 模型规格

• **参数数量**：0.6B
• **非嵌入参数数量**：0.44B
• **层数**：28
• **注意力头数量（GQA）**：Q头16个，KV头8个
• **上下文长度**：32,768 tokens

## 主要能力

• *思考模式与非思考模式切换**：支持在单一模型内无缝切换思考模式（用于复杂逻辑推理、数学和编码）和非思考模式（用于高效通用对话），确保在各种场景下获得最佳性能。

• *推理能力增强**：在数学、代码生成和常识逻辑推理方面超越前代QwQ（思考模式）和Qwen2.5 instruct模型（非思考模式）。

• *人类偏好对齐**：在创意写作、角色扮演、多轮对话和指令跟随方面表现出色，提供更自然、更具吸引力的对话体验。

• *代理能力**：能够精确集成外部工具，在思考和非思考模式下均能实现复杂的基于代理的任务，在开源模型中处于领先地位。

• *多语言支持**：支持100多种语言和方言，具备强大的多语言指令跟随和翻译能力。

## 输入输出

• **输入**：文本提示（用户prompt或系统消息）
• **输出**：生成的文本内容
• **上下文长度**：最大32,768个tokens## 运行要求

• **transformers**：需使用4.52.4或更高版本
• **mlx lm**：需使用0.25.2或更高版本
• 建议使用最新版本的transformers和mlx lm

基本用法

• *启用思考模式（默认）**：设置enable thinking=True，模型将生成think内容块（<think >...</think >），然后输出最终回复。

• *禁用思考模式**：设置enable thinking=False，模型将不生成任何think内容，类似于Qwen2.5-Instruct模型的行为，适用于需要提高效率的场景。

• *软切换机制**：当enable thinking=True时，用户可在prompt或系统消息中添加/think和/no think来动态控制模型的思考模式，模型将遵循多轮对话中最新的指令。

• *采样参数建议**：
• 思考模式：Temperature=0.6，TopP=0.95，TopK=20，MinP=0
• 非思考模式：Temperature=0.7，TopP=0.8，TopK=20，MinP=0
• 思考模式禁止使用greedy decoding，会导致性能下降和无限重复

• *输出长度建议**：大多数查询建议使用32,768 tokens的输出长度；数学和编程竞赛等高度复杂问题建议设置为38,912 tokens。

限制

• 思考模式下不得使用greedy decoding
• 多轮对话中，历史消息只需包含最终输出部分，无需包含思考内容
• 当enable thinking=False时，软切换（/think和/no think）无效

许可证

原文未提供许可证相关信息。