Qwen3-235B-A22B-MLX-8bit

# Qwen3-235B-A22B-MLX-8bit 模型卡片

模型用途

因果语言模型，适用于复杂逻辑推理、数学、编码、通用对话、创意写作、角色扮演、多轮对话等场景。支持智能体工具调用，可与外部工具精确集成。

## 主要能力

• **思考模式切换**：支持在单一模型内无缝切换思考模式（用于复杂逻辑推理、数学和编码）和非思考模式（用于高效通用对话）
• **推理能力增强**：在数学、代码生成和常识逻辑推理方面超越前代QwQ和Qwen2.5-Instruct模型
• **人类偏好对齐**：在创意写作、角色扮演、多轮对话和指令遵循方面表现优异，提供更自然、更具吸引力的对话体验
• **智能体能力**：支持在思考和非思考模式下与外部工具精确集成，在复杂智能体任务中达到开源模型领先性能
• **多语言支持**：支持100多种语言和方言，具备强大的多语言指令遵循和翻译能力

## 输入输出

• **输入**：文本提示，支持多语言
• **输出**：文本响应
• **上下文长度**：原生支持32,768个Token，使用YaRN方法可扩展至131,072个Token

运行要求

• **框架**：transformers（≥4.52.4）和mlx lm（≥0.25.2）
• **参数规模**：总参数235B，激活参数22B，非嵌入参数234B
• **模型结构**：94层，64个Q注意力头和4个KV注意力头（GQA），128个专家，激活8个专家

基本用法

• *启用思考模式**（默认）：
• 设置enable thinking=True或使用默认值
• 模型将生成think内容块，然后输出最终响应
• 推荐参数：Temperature=0.6，TopP=0.95，TopK=20，MinP=0
• 禁止使用贪婪解码，会导致性能下降和无限重复

• *禁用思考模式**：
• 设置enable thinking=False
• 模型不生成think内容块，功能与Qwen2.5-Instruct模型相同
• 推荐参数：Temperature=0.7，TopP=0.8，TopK=20，MinP=0

• *软开关控制**：
• 在enable thinking=True时，可在用户提示或系统消息中添加/think和/no think动态切换思考模式
• 多轮对话中模型将遵循最新指令

• *长文本处理**：
• 超过32,768个Token的对话建议使用RoPE缩放技术
• config.json中默认最大位置嵌入为40,960（预留32,768个Token用于输出，8,192个Token用于提示）
• 短文本处理不建议启用YaRN，可能影响性能

限制

• 思考模式下必须使用采样参数，禁止贪婪解码
• 静态YaRN的缩放因子是固定的，可能影响短文本性能
• 多轮对话中历史输出只需包含最终输出部分，无需包含思考内容

许可证

原文未提供许可证相关信息。