模型介绍
中文整理Qwen3-Next-80B-A3B-Thinking-GGUF
模型用途
Qwen3-Next-80B-A3B-Thinking 是一款专注于复杂推理任务的大语言模型，仅支持思考模式（thinking mode）。模型默认启用思考功能，输出中包含think标签包裹的思考过程和最终答案。该模型特别适用于需要强推理能力的数学、编程、逻辑分析等高复杂度任务。
主要能力
混合注意力机制：结合 Gated DeltaNet 和 Gated Attention，实现高效的超长上下文建模。
高稀疏专家混合（MoE）：512个专家中仅激活10个，大幅降低计算量的同时保持模型容量。
稳定性优化：采用零中心化和权重衰减的LayerNorm技术，增强预训练和后训练的稳定性。
多Token预测（MTP）：提升预训练性能并加速推理。
超长上下文支持：原生支持262,144个Token，最长可扩展至1,010,000个Token。
工具调用能力：具备优秀的工具调用能力，支持Agent场景应用。
输入输出
输入：文本提示，支持超长文本对话。
输出：包含思考过程（think标签）和最终答案的文本。
运行要求
总参数：80B
激活参数：3B
非嵌入参数：79B
隐藏维度：2048
层数：48
专家数量：512
激活专家数：10
共享专家数：1
专家中间维度：512
注意力头：Q使用16个，KV使用2个
线性注意力头：V使用32个，QK使用16个
基本用法
使用llama.cpp框架运行。处理超长文本时建议使用RoPE scaling技术，官方已在131,072 Token长度下验证模型性能，最长支持1,000,000 Token（使用YaRN方法）。
推荐采样参数：Temperature=0.6，TopP=0.95，TopK=20，MinP=0。可通过调整presence penalty（0-2）减少重复，但过高可能导致语言混杂。
建议输出长度：一般查询使用32,768 tokens，数学和编程竞赛等高复杂度任务使用81,920 tokens。
数学问题提示格式：包含"Please reason step by step, and put your final answer within \boxed{}."
多选题提示格式：包含JSON结构指定答案字段，如"answer": "C"
多轮对话中，历史消息仅保留最终输出部分，无需包含思考内容。
限制
仅支持思考模式，不支持非思考模式输出。模型可能生成较长的思考内容。建议仅用于高复杂度推理任务。
许可证
（原文未提供许可证信息）
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。