Qwen3-235B-A22B-MLX-bf16

# Qwen3-235B-A22B-MLX-bf16 模型卡片

模型概述

Qwen3是通义千问系列最新一代大型语言模型，提供密集模型和混合专家（MoE）模型。Qwen3基于大规模训练，在推理、指令跟随、代理能力和多语言支持方面带来突破性进展。

## 主要能力

• *思考模式切换**：支持在单一模型内无缝切换思考模式（用于复杂逻辑推理、数学和编程）和非思考模式（用于高效通用对话），确保在各种场景下获得最佳性能。

• *推理能力增强**：在数学、代码生成和常识逻辑推理方面超越前代QwQ（思考模式）和Qwen2.5-Instruct模型（非思考模式）。

• *人类偏好对齐**：在创意写作、角色扮演、多轮对话和指令跟随方面表现出色，提供更自然、更具吸引力的对话体验。

• *代理能力**：支持在思考和非思考模式下精确集成外部工具，在复杂代理任务中达到开源模型领先性能。

• *多语言支持**：支持100多种语言和方言，具备强大的多语言指令跟随和翻译能力。

## 模型规格

• **参数总量**：2350亿
• **激活参数**：220亿
• **非嵌入参数**：2340亿
• **层数**：94
• **注意力头数量**：Q头64个，KV头4个
• **专家数量**：128
• **激活专家数**：8
• **上下文长度**：原生32,768 tokens，使用YaRN可扩展至131,072 tokens

## 输入输出

• **输入**：文本提示（支持多语言）
• **输出**：文本响应
• **支持格式**：思考模式输出包含think标签块，非思考模式直接输出结果

运行要求

• **框架版本**：transformers ≥ 4.52.4，mlx lm ≥ 0.25.2
• **硬件建议**：需高性能GPU运行，建议参考官方博客和文档了解硬件要求

基本用法

• *启用思考模式**：设置enable thinking=True，模型将生成think内容块后跟最终响应。建议参数：Temperature=0.6，TopP=0.95，TopK=20，MinP=0。禁止使用贪婪解码。

• *禁用思考模式**：设置enable thinking=False，模型不生成think内容块。建议参数：Temperature=0.7，TopP=0.8，TopK=20，MinP=0。

• *软切换**：在enable thinking=True时，可在提示中使用/think和/no think动态切换思考模式。

• *长文本处理**：原生支持32,768 tokens上下文。使用YaRN方法可扩展至131,072 tokens。YaRN配置仅建议在处理长上下文时启用。

• *输出长度建议**：大多数查询建议输出32,768 tokens；复杂数学和编程竞赛问题建议38,912 tokens。

• *标准化输出格式**：数学问题提示包含"Please reason step by step, and put your final answer within \boxed{}."；多选题使用JSON格式指定答案字段。

限制

• 思考模式需使用特定采样参数，贪婪解码会导致性能下降和无限重复
• 静态YaRN缩放因子对短文本可能有性能影响
• 多轮对话中历史输出仅需包含最终输出部分，无需包含思考内容

许可证

原文未提供许可证相关信息。