Qwen3-14B-GGUF

Qwen3-14B-GGUF 模型卡片

模型概述

Qwen3是Qwen系列最新一代大语言模型，提供密集模型和混合专家模型。该模型基于广泛训练，在推理、指令遵循、代理能力和多语言支持方面实现了突破性进展。

主要能力

无缝切换思考模式和非思考模式：单一模型内支持复杂逻辑推理、数学和编码所需的思考模式，以及高效通用对话所需的非思考模式。

推理能力显著提升：在数学、代码生成和常识逻辑推理方面超越前代QwQ（思考模式）和Qwen2.5 instruct模型（非思考模式）。

出色的人类偏好对齐：在创意写作、角色扮演、多轮对话和指令遵循方面表现优异，提供更自然、更具吸引力的对话体验。

专业的代理能力：能够在思考和非思考模式下精确集成外部工具，在复杂代理任务中达到开源模型领先性能。

多语言支持：支持100多种语言和方言，具备强大的多语言指令遵循和翻译能力。

模型规格

类型：因果语言模型

训练阶段：预训练和后训练

参数数量：14.8B

非嵌入参数数量：13.2B

层数：40

注意力头数量：40个Q头，8个KV头

上下文长度：32,768个token原生支持，使用YaRN方法可扩展至131,072个token

量化格式：q4_K_M、q5_0、q5_K_M、q6_K、q8_0

输入输出

输入：文本形式的用户提示和系统消息，支持多轮对话

输出：文本形式的模型响应

运行要求

具体硬件要求和推理性能请参考官方博客、GitHub和文档。

基本用法

使用llama.cpp或ollama运行模型。

切换思考模式：在用户提示或系统消息中添加/think或/no_think即可在多轮对话中切换模型的思考模式。模型将遵循最新的指令。

处理长文本：模型原生支持最高32,768个token的上下文长度。对于总长度显著超过此限制的对话，建议使用RoPE scaling技术处理长文本。使用YaRN方法已在最高131,072个token的上下文长度上验证了模型性能。

最佳实践

采样参数：思考模式建议使用Temperature=0.6、TopP=0.95、TopK=20、MinP=0、PresencePenalty=1.5，不建议使用贪婪解码。非思考模式建议使用Temperature=0.7、TopP=0.8、TopK=20、MinP=0、PresencePenalty=1.5。建议对量化模型设置PresencePenalty为1.5以抑制重复输出，可在0到2之间调整。

输出长度：大多数查询建议使用32,768个token的输出长度。对于数学和编程竞赛等高度复杂问题的基准测试，建议将最大输出长度设置为38,912个token。

输出格式标准化：数学问题建议在提示中包含“请逐步推理，并将最终答案放在\boxed{}中”。多项选择题建议添加JSON结构以标准化响应格式。

历史记录处理：多轮对话中，历史模型输出应仅包含最终输出部分，无需包含思考内容。

许可证

如需引用本工作，请参考官方引用格式。