模型介绍
中文整理Qwen3-Next-80B-A3B-Instruct-FP8
模型用途
本模型是Qwen3-Next系列的首个版本，为指令跟随模型，仅支持instruct模式（非思考模式），不生成shell命令。适用于需要长上下文处理和高效推理的AI任务。
主要能力
混合注意力机制：结合Gated DeltaNet和Gated Attention，支持超长上下文建模。
高稀疏专家混合模型（MoE）：实现极低的激活比例，大幅降低每token的FLOPs同时保持模型容量。
稳定性优化：采用零中心化和权重衰减的LayerNorm技术，增强预训练和后训练的稳定性。
多Token预测（MTP）：提升预训练模型性能，加速推理过程。
该模型在参数效率和推理速度方面表现优异，在下游任务中以10%的训练成本超越Qwen3-32B-Base，在超过32K tokens的上下文中实现10倍推理吞吐量。在某些基准测试中性能与Qwen3-235B-A22B-Instruct-2507相当，并在处理最长256K tokens的超长上下文任务时具有显著优势。
输入输出
输入：文本形式的指令或对话内容
输出：文本形式的回复
运行要求
量化方式：细粒度FP8量化，块大小为128
部署需要GPU，推荐使用TP=4（4张GPU）
支持的最大上下文长度：262144 tokens
通过RoPE缩放可扩展至更长上下文
基本用法
支持通过SGLang或vLLM进行部署和服务。模型可通过OpenAI兼容的API接口进行调用。
限制
仅支持instruct（非思考）模式
不生成shell命令
许可证
本模型基于Qwen3技术报告发布。如需引用，请参考arXiv论文：Qwen3 Technical Report (arXiv:2505.09388)
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。