模型介绍
中文整理Qwen3.5-2B-Base
模型用途
这是一个预训练模型，包含模型权重和配置文件。设计用于微调、上下文学习实验以及其他研究或开发目的，不适用于直接交互。模型的控制token经过训练，支持使用官方聊天模板进行高效的LoRA风格PEFT，无需微调embedding，这是考虑到Qwen3.5较大词表的重要优化。
主要能力
统一视觉语言基础：采用多模态token早期融合训练，在推理、编码、代理和视觉理解基准测试中实现与Qwen3跨代平价，优于Qwen3-VL模型。
高效混合架构：结合门控Delta网络与稀疏专家混合，实现高吞吐量推理，最低延迟和成本开销。
可扩展强化学习泛化：强化学习扩展至百万级代理环境，任务分布逐步复杂，实现强大的真实世界适应性。
全球语言覆盖：扩展支持201种语言和方言，支持包容性的全球部署，具备细致的文化和区域理解能力。
下一代训练基础设施：多模态训练效率接近100%（相比纯文本训练），支持大规模代理脚手架和环境编排的异步强化学习框架。
输入输出
模型类型：带视觉编码器的因果语言模型
语言模型参数：
参数量：2B
隐藏层维度：2048
词表大小：248320（带填充）
层数：24
隐藏层布局：6 × (3 × (Gated DeltaNet → FFN) → 1 × (Gated Attention → FFN))
Gated DeltaNet：V的线性注意力头16个，QK的线性注意力头16个，头维度128
Gated Attention：Q的注意力头8个，KV的注意力头2个，头维度256
旋转位置嵌入维度：64
前馈网络中间维度：6144
语言模型输出：248320（与词表嵌入绑定）
MTP：多步训练
上下文长度：原生262,144个token，可扩展至1,010,000个token。
运行要求
模型文件采用Hugging Face Transformers格式。兼容Hugging Face Transformers、vLLM、SGLang等框架。
基本用法
适用于微调和上下文学习实验。控制token经过训练，支持使用官方聊天模板进行高效的LoRA风格PEFT，无需微调embedding。
限制
该模型为预训练模型，设计用于微调和研究目的，不适用于直接交互。
许可证
原文未提供许可证相关信息。
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。