Qwen3-1.7B-MLX-bf16

Qwen3-1.7B-MLX-bf16

模型用途

Qwen3-1.7B是通义千问系列的大型语言模型，适用于复杂逻辑推理、数学、编码等需要思考能力的任务，以及高效的一般对话任务。该模型支持在单一模型内无缝切换思考模式和非思考模式。

主要能力

思考模式与非思考模式无缝切换：复杂逻辑推理、数学和编码任务使用思考模式；一般对话使用非思考模式以提高效率。

推理能力显著提升：在数学、代码生成和常识逻辑推理方面超越前代QwQ-32B（思考模式）和Qwen2.5-Instruct模型（非思考模式）。

人类偏好对齐表现出色：在创意写作、角色扮演、多轮对话和指令遵循方面表现优异，提供更自然、更具吸引力的对话体验。

代理能力专业：支持在思考和非思考模式下精确集成外部工具，在复杂代理任务中达到开源模型领先性能。

多语言支持：支持100多种语言和方言，具备强大的多语言指令遵循和翻译能力。

输入输出

输入：文本提示（用户 prompts 或系统消息）

输出：生成的文本。在思考模式下，输出包含think内容块（用<think >...</think >包裹）和最终回复；在非思考模式下，仅输出最终回复。

运行要求

参数规模：总参数1.7B，非嵌入参数1.4B，28层，16个Q注意力头，8个KV注意力头

上下文长度：32,768 tokens

软件依赖：transformers ≥ 4.52.4，mlx lm ≥ 0.25.2

基本用法

启用思考模式：设置enable thinking=True或使用默认值，模型将生成think内容块后输出最终回复。

禁用思考模式：设置enable thinking=False，模型直接输出最终回复，不生成think内容块。

软切换：通过在用户提示或系统消息中添加/think和/no_think可动态切换思考模式（仅在enable thinking=True时有效）。

采样参数建议：

• 思考模式：Temperature=0.6，TopP=0.95，TopK=20，MinP=0
• 非思考模式：Temperature=0.7，TopP=0.8，TopK=20，MinP=0

输出长度建议：一般查询使用32,768 tokens；复杂数学和编程竞赛问题使用38,912 tokens。

多轮对话：历史消息仅需包含最终输出部分，无需包含think内容。

限制

思考模式下禁止使用greedy decoding（贪婪解码），否则可能导致性能下降和无尽重复。

使用presence penalty参数（0到2之间）可减少无尽重复，但较高值可能导致语言混合和性能轻微下降。

许可证

原文未提供许可证信息。