Qwen3-0.6B-MLX-6bit

Qwen3-0.6B-MLX-6bit 模型卡片

模型概述

Qwen3是通义千问系列最新一代大型语言模型，提供密集模型和混合专家模型。模型基于大规模训练，在推理、指令遵循、智能体能力和多语言支持方面实现突破性进展。

模型参数

类型：因果语言模型

训练阶段：预训练与后训练

参数总量：0.6B

非嵌入参数：0.44B

层数：28

注意力头数量：Q头16个，KV头8个

上下文长度：32,768 tokens

主要能力

思考模式与推理：支持在单一模型内无缝切换思考模式（用于复杂逻辑推理、数学和编程）和非思考模式（用于高效通用对话），在数学、代码生成和常识逻辑推理方面表现超越前代模型。

人类偏好对齐：在创意写作、角色扮演、多轮对话和指令遵循方面表现优异，提供更自然、更具吸引力的对话体验。

智能体能力：支持在思考和非思考模式下精确集成外部工具，在复杂智能体任务中达到开源模型领先性能。

多语言支持：支持100多种语言和方言，具备强大的多语言指令遵循和翻译能力。

输入输出

输入：文本形式的用户提示或对话历史

输出：文本形式的响应，支持思考模式下的推理过程输出（包含在think标签块内）

运行要求

框架依赖：transformers（版本≥4.52.4）和mlx lm（版本≥0.25.2）

硬件要求：参考官方博客、GitHub和文档获取详细硬件需求和推理性能数据

基本用法

思考模式启用：默认启用思考能力，模型将生成包含推理过程的响应。可通过设置enable thinking=True或在tokenizer.apply_chat_template中保持默认来启用。

非思考模式：设置enable thinking=False可完全禁用思考行为，模型直接输出最终响应，不生成推理过程。

动态切换：启用思考模式后，可在用户提示或系统消息中添加/think和/no think来动态切换思考状态。

采样参数建议：

思考模式：Temperature=0.6，TopP=0.95，TopK=20，MinP=0

非思考模式：Temperature=0.7，TopP=0.8，TopK=20，MinP=0

注意：思考模式下不要使用贪婪解码，可能导致性能下降和无限重复。

输出长度：大多数查询建议使用32,768 tokens输出长度；数学和编程竞赛等高度复杂问题建议设置为38,912 tokens。

智能体使用：推荐使用Qwen-Agent以充分发挥模型的工具调用能力。

限制

思考模式下必须使用特定采样参数，贪婪解码会导致性能下降和无限重复。

多轮对话中，历史输出应只包含最终输出部分，无需包含思考内容。

当enable thinking=False时，软切换指令（/think和/no think）无效。

许可证

如需引用本工作，请参考官方引用指南。