Qwen3-8B-GGUF

Qwen3-8B-GGUF

模型概述

Qwen3是通义千问系列最新一代大型语言模型，提供密集模型和混合专家模型。模型基于大规模训练，在推理、指令遵循、代理能力和多语言支持方面实现突破性进展。

主要能力

支持在单一模型内无缝切换思考模式和非思考模式。思考模式适用于复杂逻辑推理、数学和编码任务；非思考模式适用于高效通用对话。推理能力超越前代QwQ模型和Qwen2.5指令模型。在数学、代码生成和常识逻辑推理方面表现优异。人类偏好对齐优秀，擅长创意写作、角色扮演、多轮对话和指令遵循，提供更自然、更具吸引力的对话体验。具备强大的代理能力，支持在思考和非思考模式下精确集成外部工具，在复杂代理任务中达到开源模型领先水平。支持100多种语言和方言，具备强大的多语言指令遵循和翻译能力。

模型规格

类型：因果语言模型

训练阶段：预训练与后训练

参数数量：8.2B

非嵌入参数数量：6.95B

层数：36

注意力头数量（GQA）：Q头32个，KV头8个

上下文长度：原生支持32,768个标记，使用YaRN方法可扩展至131,072个标记

量化选项：q4_K_M、q5_0、q5_K_M、q6_K、q8_0

输入输出

输入：文本形式的用户提示和系统消息，支持多轮对话

输出：文本形式的模型响应

运行要求

推荐使用llama.cpp或ollama框架运行。使用llama.cpp时需按官方指南安装。使用ollama可通过单条命令运行模型。

基本用法

思考模式切换：可在用户提示或系统消息中添加/think或/no_think来切换思考模式，模型会遵循多轮对话中最新的指令。

长文本处理：原生支持最高32,768个标记的上下文长度。对于总长度显著超过此限制的对话，建议使用RoPE缩放技术处理长文本。已在最高131,072个标记的上下文长度下验证模型性能。使用YaRN时注意：开源框架通常实现静态YaRN，缩放因子保持恒定，可能影响较短文本性能。建议仅在需要处理长上下文时添加缩放配置，并根据实际应用场景调整因子。

采样参数建议

思考模式：Temperature=0.6，TopP=0.95，TopK=20，MinP=0，PresencePenalty=1.5。不建议使用贪婪解码，可能导致性能下降和无限重复。

非思考模式：Temperature=0.7，TopP=0.8，TopK=20，MinP=0，PresencePenalty=1.5。

对于量化模型，建议将Presence Penalty设为1.5以抑制重复输出，可在0到2之间调整。

输出长度建议

大多数查询建议使用32,768个标记的输出长度。对于数学和编程竞赛等高度复杂问题的基准测试，建议最大输出长度设为38,912个标记。

输出格式标准化建议

数学问题：在提示中包含“请逐步推理，并将最终答案放在\boxed{}中”。

选择题：在提示中添加JSON结构，要求仅以选项字母形式展示答案。

多轮对话注意

历史模型输出应仅包含最终输出部分，无需包含思考内容。

限制

静态YaRN可能对较短文本的性能产生负面影响。

许可证

如需引用本工作，请参考相关文献。