Qwen3-14B-MLX-bf16

Qwen3-14B-MLX-bf16

模型用途

Qwen3-14B是通义千问系列第三代大语言模型，包含密集模型和混合专家模型。该模型适用于复杂逻辑推理、数学问题求解、代码生成、通用对话、创意写作、角色扮演、多轮对话等多种场景。

主要能力

• *思考模式切换**：支持在单一模型内无缝切换思考模式（用于复杂逻辑推理、数学和编码）和非思考模式（用于高效通用对话），可根据不同场景优化性能。

• *推理能力增强**：在数学、代码生成和常识逻辑推理方面超越前代QwQ（思考模式）和Qwen2.5-Instruct模型（非思考模式）。

• *人类偏好对齐**：在创意写作、角色扮演、多轮对话和指令遵循方面表现出色，提供更自然、更具吸引力的对话体验。

• *Agent能力**：支持在思考和非思考模式下精确集成外部工具，在复杂Agent任务中达到开源模型领先性能。

• *多语言支持**：支持100多种语言和方言，具备强大的多语言指令跟随和翻译能力。

输入输出

• *输入格式**：文本提示，支持用户提示和系统消息

• *输出格式**：文本响应

• *上下文长度**：原生支持32,768个tokens；使用YaRN方法可扩展至131,072个tokens

• *模型参数规模**：
• 总参数：14.8B
• 非嵌入参数：13.2B
• 层数：40
• 注意力头数：Q为40，KV为8（GQA）

运行要求

• *依赖库**：
• transformers ≥ 4.52.4
• mlx lm ≥ 0.25.2

• *推理框架支持**：transformers、mlx lm、SGLang、vLLM、llama.cpp

• *硬件要求**：请参考官方博客、GitHub和文档获取详细硬件要求和推理性能数据

基本用法

• *启用思考模式**：设置enable thinking=True，模型将生成think内容块（<think >...</think >），然后输出最终回复

• *禁用思考模式**：设置enable thinking=False，模型不生成think内容块，功能与Qwen2.5-Instruct模型相同

• *软切换机制**：当enable thinking=True时，可在用户提示或系统消息中使用/think和/no think动态切换思考模式

• *采样参数建议**：
• 思考模式：Temperature=0.6，TopP=0.95，TopK=20，MinP=0
• 非思考模式：Temperature=0.7，TopP=0.8，TopK=20，MinP=0
• 避免使用greedy decoding，可能导致性能下降和无限重复

• *输出长度建议**：大多数查询建议使用32,768个tokens的输出长度；数学和编程竞赛等复杂问题建议设置38,912个tokens

• *长文本处理**：当对话总长度超过32,768个tokens时，建议使用RoPE缩放技术；YaRN方法已在transformers、llama.cpp、vllm、sglang等框架中支持

限制

• *不要使用greedy decoding**：在思考模式下使用greedy decoding可能导致性能下降和无限重复

• *YaRN使用注意**：所有开源框架实现的是静态YaRN，缩放因子不会随输入长度变化，可能影响短文本性能。建议仅在处理长上下文时启用YaRN，并可根据实际应用场景调整factor参数

• *多轮对话历史**：历史模型输出应仅包含最终输出部分，不需要包含思考内容

许可证

原文未提供许可证相关信息。