Qwen3.5-122B-A10B

# Qwen3.5-122B-A10B 模型卡片

模型用途

因果语言模型，带视觉编码器。用于预训练和后训练阶段，支持多模态理解、代码生成、推理、Agent任务和视觉理解。

## 主要能力

统一视觉语言基础：基于多模态token的早期融合训练，在推理、编码、Agent和视觉理解基准测试中达到与Qwen3相当的跨代水平，优于Qwen3-VL模型。

高效混合架构：结合门控Delta网络与稀疏专家混合网络，实现高吞吐量推理，最小化延迟和成本开销。

可扩展强化学习泛化：跨百万级Agent环境进行强化学习训练，任务分布逐步复杂，实现稳健的实时适应性。

全球语言覆盖：扩展支持201种语言和方言，支持全球部署，具备细致的文化和区域理解能力。

下一代训练基础设施：多模态训练效率接近文本训练的水平，异步RL框架支持大规模Agent脚手架和环境编排。

## 模型参数

总参数：1220亿

激活参数：100亿

隐藏层维度：3072

词表大小：248320（填充后）

层数：48

隐藏层布局：12 × (3 × (Gated DeltaNet → MoE) → 1 × (Gated Attention → MoE))

门控Delta网络：

线性注意力头数：V为64个，QK为16个头

头维度：128

门控注意力：

注意力头数：Q为32个，KV为2个

头维度：256

旋转位置嵌入维度：64

专家混合网络：

专家数量：256

激活专家数：8个路由专家 + 1个共享专家

专家中间维度：1024

上下文长度：原生支持262144个token，可扩展至101万个token。

## 输入输出

支持纯文本输入、图像输入、视频输入。输出为文本。

运行要求

推荐使用SGLang、vLLM、KTransformers或Hugging Face Transformers框架进行推理。建议使用8个GPU进行张量并行。

默认上下文长度为262144个token。遇到内存溢出错误时可考虑减少上下文窗口。由于Qwen3.5利用扩展上下文处理复杂任务，建议保持至少128K个token的上下文长度以保留思考能力。

基本用法

Qwen3.5默认以思考模式运行，在生成最终回复前会生成以\n...\n\n标识的思考内容。可通过配置API参数禁用思考内容以获得直接回复。

采样参数建议：

通用任务的思考模式：temperature=1.0, top p=0.95, top k=20, min p=0.0, presence penalty=1.5, repetition penalty=1.0

精确编码任务的思考模式（如WebDev）：temperature=0.6, top p=0.95, top k=20, min p=0.0, presence penalty=0.0, repetition penalty=1.0

通用任务的指令模式：temperature=0.7, top p=0.8, top k=20, min p=0.0, presence penalty=1.5, repetition penalty=1.0

推理任务的指令模式：temperature=1.0, top p=1.0, top k=40, min p=0.0, presence penalty=2.0, repetition penalty=1.0

输出长度建议：大多数查询使用32768个token。对于数学和编程竞赛等高度复杂问题的基准测试，建议设置最大输出长度为81920个token。

超长文本处理：原生支持最长262144个token的上下文。对于总长度超过此限制的长视野任务，建议使用RoPE缩放技术（如YaRN）处理长文本。

限制

Qwen3.5不支持Qwen3的软切换功能（即/think和/nothink命令）。

所有开源框架实现的是静态YaRN，这意味着缩放因子是固定的，不随输入长度变化，可能影响较短文本的性能。建议仅在处理长上下文时修改rope参数配置。

许可证

模型权重和配置文件采用Hugging Face Transformers格式发布。