Qwen3-32B-GGUF

# Qwen3-32B-GGUF 模型卡片

模型概述

Qwen3是通义千问系列最新一代大型语言模型，提供密集模型和混合专家模型。模型基于大规模训练，在推理、指令遵循、智能体能力和多语言支持方面实现突破性进展。

模型用途

通用对话、复杂逻辑推理、数学问题求解、代码生成、多语言翻译、创意写作、角色扮演等场景。

## 主要能力

• *思考模式切换**：支持在单一模型内无缝切换思考模式（用于复杂逻辑推理、数学和编码）和非思考模式（用于高效通用对话）。

• *推理能力增强**：在数学、代码生成和常识逻辑推理方面超越前代QwQ（思考模式）和Qwen2.5 instruct模型（非思考模式）。

• *人类偏好对齐**：在创意写作、角色扮演、多轮对话和指令遵循方面表现出色，提供更自然、更具吸引力的对话体验。

• *智能体能力**：支持在思考和非思考模式下精确集成外部工具，在复杂智能体任务中达到开源模型领先性能。

• *多语言支持**：支持100多种语言和方言，具备强大的多语言指令遵循和翻译能力。

## 输入输出

• *输入格式**：文本提示，支持通过/think和/no think切换思考模式

• *输出格式**：文本响应

• *上下文长度**：原生支持32,768个tokens；使用YaRN方法可扩展至131,072个tokens

运行要求

• *参数规模**：总参数32.8B，非嵌入参数31.2B

• *模型结构**：64层，64个Q注意力头，8个KV注意力头

• *量化版本**：q4_K_M、q5_0、q5_K_M、q6_K、q8_0

• *硬件建议**：需参考官方文档获取具体硬件要求和推理性能数据

基本用法

• *llama.cpp运行**：克隆llama.cpp仓库并按官方指南安装

• *ollama运行**：使用单条命令运行模型

• *模式切换**：在用户提示或系统消息中添加/think或/no think即可切换思考模式，多轮对话中模型会遵循最新指令

• *采样参数建议**：
• 思考模式：Temperature=0.6，TopP=0.95，TopK=20，MinP=0，PresencePenalty=1.5
• 非思考模式：Temperature=0.7，TopP=0.8，TopK=20，MinP=0，PresencePenalty=1.5
• 建议对量化模型设置PresencePenalty为1.5以抑制重复输出

• *输出长度**：大多数查询建议设置32,768个tokens；数学和编程竞赛等复杂问题建议设置38,912个tokens

• *长文本处理**：当对话总长度超过32,768 tokens时，建议使用RoPE scaling技术处理长文本

限制

• *静态YaRN限制**：开源框架实现的静态YaRN缩放因子保持恒定，可能影响短文本性能。建议仅在处理长上下文时添加rope scaling配置，并根据实际应用场景调整因子。

• *多轮对话**：历史模型输出应仅包含最终输出部分，无需包含思考内容。

许可证

如需引用本工作，请参考相关文献。