Qwen3.5-35B-A3B

模型名称

Qwen3.5-35B-A3B

模型类型

因果语言模型，带视觉编码器

训练阶段

预训练与后训练

模型用途

该模型为后训练模型，采用Hugging Face Transformers格式存储。可用于文本生成、视觉理解、代码编写、工具调用等多种任务。阿里云Model Studio提供托管的可扩展推理服务，其中Qwen3.5-Flash为对应托管版本，默认支持100万上下文长度和内置工具。

主要能力

统一视觉语言基础：基于多模态token的早期融合训练，在推理、编码、代理和视觉理解基准测试中达到与Qwen3相当的跨代水平。

高效混合架构：结合门控Delta网络与稀疏专家混合架构，实现高吞吐量推理，延迟和成本开销最小化。

可扩展强化学习泛化：强化学习扩展至百万级智能体环境，具备逐步复杂的任务分布，实现稳健的真实世界适应性。

全球语言覆盖：扩展支持201种语言和方言，支持全球部署，具备细致的文化和区域理解能力。

下一代训练基础设施：多模态训练效率接近文本训练的水平，异步强化学习框架支持大规模智能体脚手架和环境编排。

输入输出

支持文本输入、图像输入和视频输入。默认上下文长度为262,144个token，可扩展至1,010,000个token。模型默认启用思考模式，在生成最终回复前会输出思考内容。可通过API参数禁用思考模式以获得直接回复。

运行要求

模型参数总量350亿，激活参数30亿。隐藏层维度2048，token嵌入维度248,320，层数40。建议至少保持128K token的上下文长度以保留思考能力。兼容Hugging Face Transformers、vLLM、SGLang、KTransformers等推理框架。

基本用法

推荐使用SGLang、vLLM或KTransformers等专用推理引擎进行生产部署。采样参数设置建议：思考模式下一般任务使用temperature=1.0、top_p=0.95、top_k=20；精确编码任务使用temperature=0.6、top_p=0.95、top_k=20；非思考模式下一般任务使用temperature=0.7、top_p=0.8、top_k=20；非思考模式下推理任务使用temperature=1.0、top_p=1.0、top_k=40。建议大多数查询使用32,768个token的输出长度，复杂数学和编程竞赛基准测试建议设置81,920个token。

限制

模型默认启用思考模式，不支持Qwen3的软切换功能（/think和/nothink）。处理超长文本时使用YaRN技术，但静态YaRN的缩放因子在不同输入长度下保持恒定，可能影响较短文本的性能。建议仅在需要处理长上下文时修改rope参数配置。

许可证

模型权重和配置文件采用阿里巴巴开源许可证，具体许可证信息请参阅相关文件。