Qwen3-8B-MLX-8bit

# Qwen3-8B-MLX-8bit 模型卡片

模型概述

Qwen3-8B-MLX-8bit是阿里云Qwen系列最新一代大型语言模型，采用密集架构设计。

## 模型规格

类型：因果语言模型

训练阶段：预训练与后训练

参数总量：8.2B

非嵌入参数：6.95B

层数：36

注意力头数：Q头32个，KV头8个

上下文长度：原生支持32,768个Token，使用YaRN技术可扩展至131,072个Token

## 主要能力

• *思考模式切换**：支持在单一模型内无缝切换思考模式（用于复杂逻辑推理、数学和编程）和非思考模式（用于高效通用对话），可根据场景自动优化性能。

• *推理能力**：在数学、代码生成和常识逻辑推理方面表现优于前代QwQ-32B（思考模式）和Qwen2.5-Instruct模型（非思考模式）。

• *人类偏好对齐**：擅长创意写作、角色扮演、多轮对话和指令遵循，提供更自然、更具吸引力的对话体验。

• *代理能力**：支持与外部工具精确集成，在复杂代理任务中达到开源模型领先性能。

• *多语言支持**：支持100多种语言和方言，具备强大的多语言指令跟随和翻译能力。

## 输入输出

输入：文本形式的用户指令或对话内容

输出：文本形式的响应，支持思考模式下的推理过程输出

运行要求

依赖库：transformers（版本≥4.52.4）、mlx lm（版本≥0.25.2）

基本用法

• *思考模式**：设置enable thinking=True，采样参数建议为Temperature=0.6、TopP=0.95、TopK=20、MinP=0。模型将生成think内容块，随后输出最终响应。禁止使用贪婪解码。

• *非思考模式**：设置enable thinking=False，采样参数建议为Temperature=0.7、TopP=0.8、TopK=20、MinP=0。模型不会生成思考内容。

• *软切换**：在enable thinking=True时，可在用户提示或系统消息中使用/think和/no think动态切换思考模式。

• *长文本处理**：原生支持32,768个Token的上下文长度。超过此限制时，建议使用YaRN技术扩展至131,072个Token。

• *工具调用**：推荐使用Qwen-Agent框架以充分发挥模型的代理能力。

## 最佳实践

采样参数：思考模式使用Temperature=0.6，非思考模式使用Temperature=0.7。可调整presence penalty参数（0-2）减少重复，但较高值可能导致语言混合。

输出长度：大多数查询建议设置32,768个Token，极端复杂问题建议38,912个Token。

输出格式标准化：数学问题提示“请逐步推理并将最终答案放在\boxed{}中”；多选题提示包含JSON结构指定答案格式。

许可证

许可证信息未在原文档中提供。