Qwen3-14B-MLX-6bit

# Qwen3-14B-MLX-6bit 模型卡片

模型概述

Qwen3是通义千问系列最新一代大型语言模型，提供密集模型和混合专家模型。模型基于大规模训练，在推理、指令遵循、智能体能力和多语言支持方面实现突破性进展。

## 主要能力

• *思考模式切换**：支持在单一模型内无缝切换思考模式（用于复杂逻辑推理、数学和编程）和非思考模式（用于高效通用对话），确保在各种场景下获得最佳性能。

• *推理能力增强**：在数学、代码生成和常识逻辑推理方面超越前代QwQ（思考模式）和Qwen2.5-Instruct模型（非思考模式）。

• *人类偏好对齐**：在创意写作、角色扮演、多轮对话和指令遵循方面表现出色，提供更自然、更具吸引力的对话体验。

• *智能体能力**：支持在思考和非思考模式下精确集成外部工具，在复杂智能体任务中达到开源模型领先性能。

• *多语言支持**：支持100多种语言和方言，具备强大的多语言指令遵循和翻译能力。

## 输入输出

• *输入格式**：文本提示，支持多轮对话

• *输出格式**：文本响应

• *上下文长度**：原生支持32,768个tokens；使用YaRN方法可扩展至131,072个tokens

运行要求

• *参数规模**：
• 总参数：14.8B
• 非嵌入参数：13.2B
• 层数：40
• 注意力头：Q头40个，KV头8个

• *软件依赖**：
• transformers ≥ 4.52.4
• mlx lm ≥ 0.25.2

基本用法

• *思考模式启用**：通过设置enable thinking=True或在tokenizer.apply_chat_template中保留默认值为启用。模型将生成think内容块（<think >...</think >），然后输出最终响应。

• *非思考模式**：设置enable thinking=False可完全禁用思考行为，模型不生成think内容块。

• *软切换机制**：当enable thinking=True时，用户可在提示或系统消息中添加/think和/no think来动态控制思考模式。

• *采样参数建议**：
• 思考模式：Temperature=0.6，TopP=0.95，TopK=20，MinP=0
• 非思考模式：Temperature=0.7，TopP=0.8，TopK=20，MinP=0

• *重要提示**：思考模式下请勿使用greedy decoding，可能导致性能下降和无尽重复。

• *输出长度**：建议大多数查询使用32,768个tokens的输出长度；数学和编程竞赛等复杂问题建议设置38,912个tokens。

• *长文本处理**：当对话总长度超过32,768个tokens时，建议使用RoPE缩放技术。YaRN方法已在高达131,072个tokens的上下文长度上验证有效。

限制

• 思考模式下使用greedy decoding会导致性能下降和无尽重复
• 所有开源框架实现的是静态YaRN，缩放因子保持恒定，可能影响短文本性能
• 建议仅在处理长上下文时启用YaRN配置
• 默认最大位置嵌入设置为40,960，包括为输出预留32,768个tokens和为典型提示预留8,192个tokens

许可证

许可证信息未在原始模型卡片中提供。