模型介绍
中文整理Qwen3-30B-A3B-Thinking-2507 模型卡片
模型概述
Qwen3-30B-A3B-Thinking-2507 是阿里云推出的因果语言模型,总参数30.5B,激活参数3.3B。该模型经过预训练和后训练,仅支持思考模式。
主要参数
类型:因果语言模型
训练阶段:预训练与后训练
总参数:30.5B
激活参数:3.3B
非嵌入参数:29.9B
层数:48
注意力头数:Q头32个,KV头4个
专家数:128
激活专家数:8
上下文长度:262,144原生
模型用途
该模型主要用于复杂推理任务,包括逻辑推理、数学、科学、编码和学术基准测试。同时具备指令遵循、工具使用、文本生成和人类偏好对齐等通用能力。支持256K长上下文理解。
主要能力
显著提升推理任务性能,包括需要人类专业知识的逻辑推理、数学、科学、编码和学术基准测试。增强的通用能力,如指令遵循、工具使用、文本生成和人类偏好对齐。支持256K长上下文理解。此版本思考长度增加,建议用于高度复杂推理任务。
输入输出
输入:文本提示
输出:仅包含最终答案部分,不需要显式 opening 标签
模型自动启用思考模式,无需指定 enable thinking=True
运行要求
推理框架:transformers>=0.4.6.post1 或 vllm>=0.8.5 或 SGLang
1M token上下文处理需要约240GB GPU显存(包含模型权重、KV缓存和峰值激活内存)
建议使用上下文长度大于131,072以获得最佳推理效果
基本用法
使用Hugging Face Transformers加载模型进行推理。推荐使用Qwen-Agent以充分利用模型的工具调用能力。采样参数建议:Temperature=0.6、TopP=0.95、TopK=20、MinP=0。大多数查询建议输出长度32,768 tokens;数学和编程竞赛等高复杂问题建议81,920 tokens。多轮对话中,历史输出只需包含最终答案部分,无需包含思考内容。
许可证
请参考模型原始许可证。
优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。
完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖,以原作者说明为准。
是否允许商用、修改和分发,请查看模型许可证。
闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。
资料或下载有问题?
登录后可提交反馈。
