Qwen3-8B-MLX-4bit

# Qwen3-8B-MLX-4bit 模型卡片

模型概述

Qwen3是Qwen系列最新一代大语言模型，提供密集模型和混合专家（MoE）模型。Qwen3-8B是一款因果语言模型，经过预训练和后训练。

## 模型参数

• 参数总量：8.2B
• 非嵌入参数：6.95B
• 层数：36
• 注意力头数量（GQA）：Q头32个，KV头8个
• 上下文长度：原生支持32,768 tokens，使用YaRN可扩展至131,072 tokens

## 主要能力

• *思考模式与非思考模式切换**：支持在单一模型内无缝切换思考模式（用于复杂逻辑推理、数学和编程）和非思考模式（用于高效通用对话）。

• *推理能力增强**：在数学、代码生成和常识逻辑推理方面超越前代QwQ（思考模式）和Qwen2.5-Instruct模型（非思考模式）。

• *人类偏好对齐**：在创意写作、角色扮演、多轮对话和指令遵循方面表现出色，提供更自然、更具吸引力的对话体验。

• *智能体能力**：支持在思考和非思考模式下精确集成外部工具，在复杂智能体任务中达到开源模型领先性能。

• *多语言支持**：支持100多种语言和方言，具备强大的多语言指令遵循和翻译能力。

## 输入输出

• **输入**：文本提示（用户消息或系统消息）
• **输出**：文本响应（思考模式下包含think块和非思考块）
• **上下文窗口**：原生32,768 tokens，最长131,072 tokens

运行要求

• Python库：transformers（≥4.52.4）和mlx lm（≥0.25.2）
• 建议使用最新版本
• 长上下文处理需要YaRN支持

基本用法

• *启用思考模式**：设置enable thinking=True，模型将生成think内容块，然后输出最终响应。

• *禁用思考模式**：设置enable thinking=False，模型不生成think内容块，功能与Qwen2.5-Instruct模型类似。

• *软切换**：在enable thinking=True时，可在用户提示或系统消息中使用/think和/no think动态切换思考模式。

• *采样参数建议**：
• 思考模式：Temperature=0.6，TopP=0.95，TopK=20，MinP=0
• 非思考模式：Temperature=0.7，TopP=0.8，TopK=20，MinP=0
• 思考模式禁止使用greedy decoding

• *输出长度建议**：大多数查询建议输出长度32,768 tokens；复杂数学和编程竞赛问题建议38,912 tokens。

限制

• 思考模式下不应使用greedy decoding，可能导致性能下降和无限重复
• 使用YaRN可能影响短文本性能，建议仅在处理长上下文时启用
• 默认最大位置嵌入为40,960，包含32,768 tokens用于输出和8,192 tokens用于提示
• 多轮对话中，历史消息只需包含最终输出部分，无需包含思考内容

许可证

如需引用本工作，请按相关学术规范引用。