Qwen3.5-397B-A17B

Qwen3.5-397B-A17B 模型卡片

模型概述

Qwen3.5-397B-A17B 是一个带有视觉编码器的因果语言模型，采用预训练和后训练阶段。该模型基于 Qwen3.5 系列，在多模态学习、架构效率、强化学习规模和全球语言支持方面实现了显著提升。

模型用途

该模型主要用于文本生成和视觉理解任务，支持问答、代码生成、数学推理、指令遵循、代理任务等多种应用场景。模型可处理纯文本、图像和视频输入，适用于需要长上下文处理和复杂推理的企业级应用。

主要能力

统一视觉语言基础：早期融合多模态 token 训练，在推理、编码、代理和视觉理解基准测试中达到与 Qwen3 相当的跨代水平。

高效混合架构：结合门控 Delta 网络和稀疏专家混合架构，实现高吞吐量推理，最小化延迟和成本开销。

可扩展强化学习：跨百万级代理环境扩展强化学习，配合逐步复杂的任务分布，实现稳健的真实世界适应性。

全球语言覆盖：扩展支持 201 种语言和方言，支持全球部署，具备细致的文化和区域理解能力。

架构参数

总参数：3970 亿

激活参数：170 亿

隐藏层维度：4096

词表大小：248320

层数：60

专家数量：512

激活专家数：10 个路由专家 + 1 个共享专家

原生上下文长度：262144 token

可扩展上下文长度：最高 1010000 token

输入输出

支持文本输入、图像输入和视频输入。模型默认启用思考模式，在生成最终回复前会输出思考内容。上下文长度原生支持 262144 token，通过 RoPE 缩放技术可扩展至约 100 万 token。

运行要求

模型兼容 Hugging Face Transformers、vLLM、SGLang、KTransformers 等推理框架。建议使用 8 GPU 进行张量并行以支持最大 262144 token 上下文长度。处理复杂任务时建议保持至少 128K token 的上下文长度以保留思考能力。

基本用法

通过 OpenAI 兼容 API 调用模型。推荐使用 SGLang、vLLM 或 KTransformers 作为生产环境的服务引擎。

思考模式采样参数：temperature=0.6, top_p=0.95, top_k=20, min_p=0.0, presence_penalty=0.0, repetition_penalty=1.0

非思考模式采样参数：temperature=0.7, top_p=0.8, top_k=20, min_p=0.0, presence_penalty=1.5, repetition_penalty=1.0

大多数查询建议输出长度设置为 32768 token。数学和编程竞赛等高度复杂问题的基准测试建议最大输出长度设置为 81920 token。

模型支持工具调用功能，可通过 Qwen-Agent 快速构建代理应用，也支持 MCP 配置文件定义可用工具。

限制说明

模型默认启用思考模式，生成回复前会输出思考内容。Qwen3.5 不支持 Qwen3 的软开关功能（即 /think 和 /nothink 命令）。如需禁用思考内容获取直接回复，需通过 API 参数配置。使用较长上下文时可能出现内存溢出错误，建议根据实际需求调整上下文窗口大小。

许可证

模型权重和配置文件采用 Hugging Face Transformers 格式发布。具体许可证信息请参阅模型仓库的 LICENSE 文件。