Qwen3-4B-MLX-bf16

Qwen3-4B-MLX-bf16

模型用途

Qwen3-4B是阿里云Qwen系列的大型语言模型，支持在单一模型内无缝切换思考模式和非思考模式。思考模式适用于复杂逻辑推理、数学和编码任务；非思考模式适用于高效通用对话。

主要能力

思考模式与无缝切换：在单一模型内支持思考模式和非思考模式的无缝切换，思考模式生成的内容包裹在<think >...</think >块中。

推理能力增强：在数学、代码生成和常识逻辑推理方面超越前代QwQ和Qwen2.5-Instruct模型。

人类偏好对齐：在创意写作、角色扮演、多轮对话和指令遵循方面表现出色，提供更自然、更具吸引力的对话体验。

代理能力：支持与外部工具的精确集成，在复杂代理任务中达到开源模型领先性能。

多语言支持：支持100多种语言和方言，具备强大的多语言指令跟随和翻译能力。

输入输出

输入格式：文本提示，支持多轮对话

输出格式：生成的文本响应

上下文长度：原生支持32,768个tokens，使用YaRN方法可扩展至131,072个tokens

运行要求

依赖库：transformers ≥ 4.52.4，mlx lm ≥ 0.25.2

建议使用最新版本的transformers和mlx lm

如需使用YaRN功能，建议升级transformers ≥ 4.51.0以避免警告

基本用法

思考模式（enable thinking=True）：默认启用，模型将生成思考内容。使用参数：Temperature=0.6，TopP=0.95，TopK=20，MinP=0。禁止使用greedy decoding，会导致性能下降和无限重复。

非思考模式（enable thinking=False）：完全禁用思考行为，不生成<think >块。使用参数：Temperature=0.7，TopP=0.8，TopK=20，MinP=0。

软切换机制：当enable thinking=True时，可在用户提示或系统消息中添加/think和/no think来动态切换思考模式。

长文本处理：对话总长度超过32,768 tokens时，建议使用RoPE缩放技术。YaRN支持多种推理框架。默认最大位置嵌入设为40,960，其中32,768保留给输出，8,192用于典型提示。

最佳实践

采样参数：思考模式使用Temperature=0.6；非思考模式使用Temperature=0.7。可调整presence penalty参数（0到2之间）减少重复，但较高值可能导致语言混合和性能下降。

输出长度：大多数查询建议使用32,768 tokens输出长度；数学和编程竞赛等复杂问题建议设置38,912 tokens。

输出格式标准化：数学问题提示“请reason step by step, and put your final answer within \boxed{}”；多选题提示包含JSON结构指定答案格式。

多轮对话：历史输出仅需包含最终输出部分，无需包含思考内容。

限制

思考模式下禁止使用greedy decoding，会导致性能下降和无限重复。

静态YaRN的缩放因子是固定的，可能影响短文本性能。建议仅在处理长上下文时启用YaRN，并根据实际应用场景调整缩放因子。

当enable thinking=True时，无论用户是否使用/think或/no think，模型始终输出<think >块，但禁用思考时块内内容为空。

当enable thinking=False时，软切换无效，模型不会生成任何思考内容。

许可证

原文未提供许可证相关信息。