Qwen3-4B-GGUF

# Qwen3-4B-GGUF 模型卡片

模型概述

Qwen3是Qwen系列最新一代大语言模型，提供密集模型和混合专家模型。Qwen3在推理、指令遵循、代理能力和多语言支持方面带来突破性进展。

## 主要能力

• *思考模式切换**：支持在同一模型中无缝切换思考模式（用于复杂逻辑推理、数学和编码）和非思考模式（用于高效通用对话），确保在各种场景下获得最佳性能。

• *推理能力增强**：在数学、代码生成和常识逻辑推理方面超越之前的QwQ（思考模式）和Qwen2.5 instruct模型（非思考模式）。

• *人类偏好对齐**：在创意写作、角色扮演、多轮对话和指令遵循方面表现出色，提供更自然、更具吸引力的对话体验。

• *代理能力**：能够在思考和非思考模式下精确集成外部工具，在复杂基于代理的任务中达到开源模型的领先性能。

• *多语言支持**：支持100多种语言和方言，具备强大的多语言指令遵循和翻译能力。

## 模型规格

• 类型：因果语言模型
• 训练阶段：预训练和后训练
• 参数数量：40亿
• 非嵌入参数数量：36亿
• 层数：36
• 注意力头数量：Q为32，KV为8
• 上下文长度：原生32,768个token，使用YaRN可扩展至131,072个token
• 量化选项：q4_K_M、q5_0、q5_K_M、q6_K、q8_0

## 输入输出

• 输入：文本提示
• 输出：文本响应
• 支持多轮对话
• 可通过在用户提示或系统消息中添加 /think 和 /no think 来切换思考模式

运行要求

需要使用 llama.cpp 或 ollama 框架运行。

• *推荐采样参数**：

• 思考模式：Temperature=0.6，TopP=0.95，TopK=20，MinP=0，PresencePenalty=1.5
• 非思考模式：Temperature=0.7，TopP=0.8，TopK=20，MinP=0，PresencePenalty=1.5
• 建议为量化模型设置Presence Penalty为1.5以抑制重复输出

• *输出长度建议**：大多数查询建议使用32,768个token的输出长度；对于数学和编程竞赛等高度复杂问题，建议设置最大输出长度为38,912个token。

基本用法

• 使用 llama.cpp 或 ollama 加载模型
• 通过 /think 和 /no think 指令切换思考模式
• 多轮对话中，历史记录只需包含最终输出，无需包含思考内容

• *处理长文本**：原生支持最长32,768个token的上下文长度。对于总长度显著超过此限制的对话，建议使用RoPE缩放技术处理长文本。使用YaRN方法已在最长131,072个token的上下文长度上验证了模型性能。

限制

• 静态YaRN的缩放因子是恒定的，不考虑输入长度，可能影响较短文本的性能
• 建议仅在处理长上下文时添加rope缩放配置
• 多轮对话中不应在历史记录中包含思考内容

许可证

如需引用本工作，请参考相关文献。