Qwen3-0.6B-MLX-8bit

# Qwen3-0.6B-MLX-8bit 模型卡片

模型概述

Qwen3是Qwen系列最新一代大语言模型，提供密集模型和混合专家模型。Qwen3-0.6B是一款因果语言模型，采用预训练和后训练相结合的方式训练。

## 参数规格

• 参数总量：0.6B
• 非嵌入参数：0.44B
• 层数：28
• 注意力头数量：Q头16个，KV头8个
• 上下文长度：32,768 tokens

## 主要能力

• **思考模式切换**：支持在单一模型内无缝切换思考模式（用于复杂逻辑推理、数学和编程）和非思考模式（用于高效通用对话）
• **推理能力**：在数学、代码生成和常识逻辑推理方面超越前代QwQ和Qwen2.5-Instruct模型
• **人类偏好对齐**：在创意写作、角色扮演、多轮对话和指令遵循方面表现优异
• **智能体能力**：支持与外部工具精确集成，在复杂智能体任务中达到开源模型领先性能
• **多语言支持**：支持100多种语言和方言，具备强大的多语言指令遵循和翻译能力

## 输入输出

• 输入：文本提示，支持多轮对话
• 输出：文本响应，可选择是否包含思考过程（think内容块）

运行要求

• 框架：transformers ≥ 4.52.4，mlx lm ≥ 0.25.2
• 建议使用最新版本的transformers和mlx lm

基本用法

• *思考模式（enable thinking=True）**：
• 模型生成think内容块，然后输出最终响应
• 推荐参数：Temperature=0.6，TopP=0.95，TopK=20，MinP=0
• 禁止使用贪婪解码，会导致性能下降和无限重复

• *非思考模式（enable thinking=False）**：
• 模型不生成think内容块
• 推荐参数：Temperature=0.7，TopP=0.8，TopK=20，MinP=0

• *软切换**：
• 在enable thinking=True时，可在用户提示或系统消息中添加/think和/no think动态切换思考模式
• 多轮对话中模型会遵循最新的指令

• *输出长度建议**：
• 大多数查询建议输出长度32,768 tokens
• 数学和编程竞赛等复杂问题建议最大输出长度38,912 tokens

• *输出格式标准化**：
• 数学问题：提示中包含"Please reason step by step, and put your final answer within \boxed{}."
• 选择题：添加JSON结构要求模型仅输出选项字母

限制

• 思考模式下使用贪婪解码会导致性能下降和无限重复
• 调整presence penalty参数（0到2之间）可减少无限重复，但较高值可能导致语言混合和性能轻微下降
• 多轮对话中历史记录只需包含最终输出，不需要包含思考内容

许可证

如需引用本工作，请参照相关引用格式。