模型介绍
中文整理Qwen3-32B 模型卡片
模型概述
Qwen3-32B是通义千问系列第三代大型语言模型,包含密集型和混合专家(MoE)模型。基于大规模训练,在推理、指令遵循、代理能力和多语言支持方面实现突破性进展。
模型用途
用于复杂逻辑推理、数学问题求解、代码生成等需要深度思考的任务(思考模式),以及高效通用对话、创意写作、角色扮演、多轮交互等日常应用(非思考模式)。支持100多种语言和方言的指令遵循与翻译。
主要能力
支持在同一模型内无缝切换思考模式和非思考模式。推理能力显著提升,在数学、代码生成和常识逻辑推理方面超越前代模型。人类偏好对齐表现出色,擅长创意写作、角色扮演、多轮对话和指令遵循。具备强大的代理能力,可精确集成外部工具,在复杂代理任务中达到开源模型领先水平。
输入输出
输入:文本提示,支持多语言指令。输出:文本响应。原生上下文长度32,768个tokens,使用YaRN方法可扩展至131,072个tokens。
运行要求
参数总量32.8B,非嵌入参数31.2B。模型层数64层,注意力头采用GQA配置:Q头64个,KV头8个。需要transformers 0.4.6.post1及以上版本,或vllm 0.8.5及以上版本。支持SGLang、vLLM、Ollama、LMStudio、MLX-LM、llama.cpp、KTransformers等推理框架。
基本用法
通过enable thinking参数控制模式:设为True启用思考模式,设为False禁用思考模式。在enable thinking=True时,可在用户提示或系统消息中使用/think和/no think软开关动态控制思考行为。
思考模式推荐采样参数:Temperature=0.6,TopP=0.95,TopK=20,MinP=0。非思考模式推荐参数:Temperature=0.7,TopP=0.8,TopK=20,MinP=0。思考模式下不建议使用greedy解码,可能导致性能下降和无限重复。建议大多数查询使用32,768 tokens的输出长度,复杂数学和编程竞赛题目建议设置38,912 tokens。
处理长文本时,如上下文长度显著超过32,768 tokens,建议使用YaRN技术。默认最大位置嵌入设为40,960,包含32,768个tokens用于输出和8,192个tokens用于提示。如平均上下文长度不超过32,768个tokens,不建议启用YaRN。
限制
思考模式必须使用采样参数,不得使用greedy解码。静态YaRN的缩放因子是固定的,可能影响短文本性能,建议仅在处理长上下文时启用YaRN配置。多轮对话中,历史输出应仅包含最终响应部分,无需包含思考内容。
许可证
原文未提供许可证相关信息。
优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。
完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖,以原作者说明为准。
是否允许商用、修改和分发,请查看模型许可证。
闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。
资料或下载有问题?
登录后可提交反馈。
