Qwen3-4B-MLX-8bit

# Qwen3-4B-MLX-8bit 模型卡片

模型概述

Qwen3-4B-MLX-8bit 是阿里云通义千问系列最新一代大语言模型，采用因果语言模型架构，基于预训练和后训练完成。

## 模型参数

• 参数总量: 4.0B
• 非嵌入参数: 3.6B
• 层数: 36
• 注意力头数量: Q头32个，KV头8个
• 上下文长度: 原生支持32,768 tokens，使用YaRN方法可扩展至131,072 tokens

## 主要能力

• *思考模式与非思考模式切换**: 支持在单一模型内无缝切换思考模式（用于复杂逻辑推理、数学和编程）和非思考模式（用于高效通用对话），确保在各种场景下获得最佳性能。

• *推理能力提升**: 在数学、代码生成和常识逻辑推理方面超越前代QwQ（思考模式）和Qwen2.5-Instruct模型（非思考模式）。

• *人类偏好对齐**: 在创意写作、角色扮演、多轮对话和指令遵循方面表现出色，提供更自然、更具吸引力的对话体验。

• *智能体能力**: 能够精确集成外部工具，在思考和非思考模式下均能实现领先的复杂智能体任务性能。

• *多语言支持**: 支持100多种语言和方言，具备强大的多语言指令跟随和翻译能力。

## 输入输出

• 输入: 文本提示，支持多语言
• 输出: 文本响应
• 思考模式下输出包含think标签块和非思考内容；非思考模式下仅输出最终响应

运行要求

• 依赖库: transformers (≥4.52.4) 和 mlx lm (≥0.25.2)
• 建议使用最新版本以获得最佳兼容性

基本用法

• *启用思考模式**: 设置 enable thinking=True，模型将生成think内容块后跟随最终响应。推荐参数: Temperature=0.6, TopP=0.95, TopK=20, MinP=0。禁止使用贪婪解码，可能导致性能下降和无限重复。

• *禁用思考模式**: 设置 enable thinking=False，模型不生成think内容块。推荐参数: Temperature=0.7, TopP=0.8, TopK=20, MinP=0。

• *软切换**: 在 enable thinking=True 时，可在用户提示或系统消息中添加 /think 或 /no think 动态控制思考模式。

• *长文本处理**: 原生支持32,768 tokens上下文长度。超过此限制时建议使用RoPE缩放技术，YaRN方法已验证支持至131,072 tokens。

• *智能体使用**: 推荐使用Qwen-Agent以充分发挥模型的工具调用能力。

限制

• 思考模式下必须使用采样解码，禁止贪婪解码
• 静态YaRN缩放因子为固定值，可能影响短文本性能
• 默认最大位置嵌入设为40,960，包含32,768 tokens用于输出预留
• 多轮对话中历史消息只需包含最终输出部分，无需包含思考内容

许可证

请参考官方文档获取完整的许可证信息。