模型介绍
中文整理Qwen3.5-9B-Base
模型用途
该模型为预训练基础模型，适用于微调、上下文学习实验及其他研究开发目的，不适合直接交互使用。模型支持LoRA风格的PEFT高效微调，无需微调嵌入层。
主要能力
统一视觉语言基础：采用多模态token早期融合训练，在推理、编码、智能体和视觉理解基准测试中与Qwen3持平，优于Qwen3-VL模型。
高效混合架构：结合门控Delta网络与稀疏专家混合架构，实现高吞吐量推理，延迟和成本开销极低。
可扩展强化学习泛化：跨百万智能体环境扩展强化学习，任务分布逐步复杂，实现稳健的实时世界适应性。
全球语言覆盖：支持201种语言和方言，支持全球部署，具备细致的文化和区域理解能力。
下一代训练基础设施：多模态训练效率接近文本训练的两倍，异步RL框架支持大规模智能体脚手架和环境编排。
输入输出
输入：文本和图像（视觉编码器支持）
输出：文本生成（因果语言模型）
上下文长度：原生支持262,144个token，可扩展至1,010,000个token
运行要求
模型格式：Hugging Face Transformers格式
兼容框架：Hugging Face Transformers、vLLM、SGLang等
基本用法
该模型为预训练基础模型，需通过微调或上下文学习进行定制化使用。控制token已针对官方聊天模板进行训练，支持高效的LoRA风格PEFT微调。
模型参数
参数数量：9B
隐藏维度：4096
Token嵌入维度：248320
层数：32
隐藏层布局：8 × (3 × (门控DeltaNet → FFN) → 1 × (门控注意力 → FFN))
门控DeltaNet：V使用32个线性注意力头，QK使用16个头，头维度128
门控注意力：Q使用16个注意力头，KV使用4个头，头维度256
旋转位置嵌入维度：64
前馈网络中间维度：12288
MTP：多步训练
限制
该模型为预训练模型，不适合直接用于交互式应用，需进行微调或后训练以适配具体应用场景。
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。