Qwen3-0.6B-MLX-bf16

Qwen3-0.6B-MLX-bf16 模型卡片

模型概述

Qwen3是通义千问系列最新一代大型语言模型，提供密集模型和混合专家模型。模型基于大规模训练，在推理、指令遵循、智能体能力和多语言支持方面实现突破性进展。

模型规格

类型：因果语言模型

训练阶段：预训练与后训练

参数总量：0.6B

非嵌入参数：0.44B

层数：28

注意力头数（GQA）：Q头16个，KV头8个

上下文长度：32,768 tokens

主要能力

思考模式与非思考模式无缝切换：单一模型内可灵活切换思考模式（用于复杂逻辑推理、数学和编程）和非思考模式（用于高效通用对话），确保在各种场景下达到最优性能。

推理能力显著提升：在数学、代码生成和常识逻辑推理方面超越前代QwQ（思考模式）和Qwen2.5-Instruct（非思考模式）模型。

人类偏好对齐表现出色：擅长创意写作、角色扮演、多轮对话和指令遵循，提供更自然、更具吸引力的对话体验。

智能体能力专业：支持在思考和非思考模式下精确集成外部工具，在复杂智能体任务中达到开源模型领先水平。

多语言支持：支持100多种语言和方言，具备强大的多语言指令遵循和翻译能力。

运行要求

推荐使用transformers（≥4.52.4）和mlx lm（≥0.25.2）最新版本。SGLang和vLLM创建的API也支持思考模式切换功能。

输入输出

输入：用户提示和系统消息，支持对话模板

输出：文本响应，思考模式下会生成<think reasoning>...</think_reasoning>块包裹的推理内容，随后输出最终回复

基本用法

思考模式启用（enable thinking=True）：默认启用，模型将运用推理能力提升回复质量。建议参数：Temperature=0.6，TopP=0.95，TopK=20，MinP=0。不建议使用贪婪解码，可能导致性能下降和无限重复。

思考模式禁用（enable thinking=False）：完全禁用思考行为，模型不生成任何推理内容，类似于Qwen2.5-Instruct模型。建议参数：Temperature=0.7，TopP=0.8，TopK=20，MinP=0。

软切换机制：用户可通过在提示中添加/think或/no think来动态控制模型的思考模式行为，模型将遵循多轮对话中最新的指令。

输出长度建议：大多数查询建议使用32,768 tokens输出长度；数学和编程竞赛等高度复杂问题的基准测试建议设置为38,912 tokens。

格式标准化建议：数学问题提示中包含"Please reason step by step, and put your final answer within \boxed{}."；多选题使用JSON结构标准化回复格式。

多轮对话注意事项：历史消息中只需包含最终输出部分，无需包含思考内容。

使用限制

思考模式下不建议使用贪婪解码，可能导致性能下降和无限重复。存在惩罚参数调整过高可能导致语言混合和性能轻微下降的风险。

许可证

如需引用本工作，请参照相关引用规范。