Qwen3-1.7B-MLX-8bit

# Qwen3-1.7B 模型卡片

模型概述

Qwen3是Qwen系列最新一代大语言模型，提供密集模型和混合专家模型。Qwen3-1.7B是基于广泛训练构建的，在推理、指令遵循、代理能力和多语言支持方面具有突破性进展。

## 主要能力

• *思考模式切换**：支持在单一模型内无缝切换思考模式（用于复杂逻辑推理、数学和编码）和非思考模式（用于高效通用对话），确保在各种场景下获得最佳性能。

• *推理能力增强**：在数学、代码生成和常识逻辑推理方面超越之前的QwQ（思考模式）和Qwen2.5指令模型（非思考模式）。

• *人类偏好对齐**：在创意写作、角色扮演、多轮对话和指令遵循方面表现出色，提供更自然、更具吸引力的对话体验。

• *代理能力**：能够精确集成外部工具，在思考和非思考模式下均能实现复杂的基于代理的任务，在开源模型中处于领先地位。

• *多语言支持**：支持100多种语言和方言，具备强大的多语言指令遵循和翻译能力。

## 模型参数

• 类型：因果语言模型
• 训练阶段：预训练和后训练
• 参数数量：1.7B
• 非嵌入参数数量：1.4B
• 层数：28
• 注意力头数量（GQA）：Q为16，KV为8
• 上下文长度：32,768

## 输入输出

• *输入**：用户提示和系统消息，支持通过/think和/no think软开关动态控制模型的思考模式。

• *输出**：在思考模式下，模型生成think内容块（包含在<think >...</think >中），然后输出最终响应；在非思考模式下，模型直接输出最终响应，不生成思考内容。

运行要求

• *框架要求**：transformers版本≥4.52.4，mlx lm版本≥0.25.2。也支持SGLang和vLLM创建的API。

• *采样参数**：
• 思考模式（enable thinking=True）：Temperature=0.6，TopP=0.95，TopK=20，MinP=0。禁止使用贪婪解码，可能导致性能下降和无限重复。
• 非思考模式（enable thinking=False）：Temperature=0.7，TopP=0.8，TopK=20，MinP=0。

• *输出长度**：大多数查询建议使用32,768个token的输出长度；数学和编程竞赛等高度复杂问题建议设置为38,912个token。

基本用法

• *启用思考模式**：通过设置enable thinking=True或在tokenizer.apply_chat_template中保留默认值为启用。模型将生成思考内容块后输出最终响应。

• *禁用思考模式**：设置enable thinking=False可完全禁用思考行为，类似于Qwen2.5-Instruct模型，适用于需要提高效率的场景。

• *软开关控制**：在enable thinking=True时，用户可在提示或系统消息中添加/think或/no think来动态切换思考模式，模型将遵循多轮对话中的最新指令。

• *代理使用**：推荐使用Qwen-Agent以充分利用Qwen3的工具调用能力。可通过MCP配置文件定义可用工具，或使用Qwen-Agent的集成工具。

限制

• 思考模式下使用贪婪解码会导致性能下降和无限重复。
• 较高的presence penalty参数（0-2之间）可能偶尔导致语言混合和轻微的性能下降。
• 当enable thinking=True时，无论用户使用/think还是/no think，模型始终输出<think >...</think >块，但禁用思考时该块内容可能为空。
• 当enable thinking=False时，软开关无效，模型不会生成任何思考内容。

许可证

原始内容中未包含许可证相关信息。