模型介绍
中文整理Qwen3.5-4B-Base
模型用途
这是一个仅包含预训练权重的基座模型，采用Hugging Face Transformers格式存储。模型主要用于微调、上下文学习实验以及其他研究或开发目的，不适合直接交互使用。模型经过训练支持使用官方聊天模板进行高效的LoRA风格PEFT，无需微调嵌入层。
主要能力
该模型是一个带视觉编码器的因果语言模型，具备以下核心能力：多模态理解与推理、代码生成、Agent任务处理、视觉理解。支持201种语言和方言的全球覆盖。模型采用统一视觉语言基础架构，通过多模态token的早期融合训练，在推理、编码、Agent和视觉理解基准测试中表现出色。
架构采用高效混合设计，结合门控Delta网络和稀疏专家混合架构，实现高吞吐量推理。模型支持强化学习扩展训练，具备百万级Agent环境的训练能力。上下文长度原生支持262,144个Token，可扩展至1,010,000个Token。
输入输出
输入：文本Token序列，可选包含视觉编码器处理的图像数据
输出：文本Token的因果预测
运行要求
模型参数量：4B
隐藏维度：2560
词嵌入维度：248320
Transformer层数：32
前馈网络中间维度：9216
注意力头配置：Gated DeltaNet使用32个V头和16个QK头，头维度128；Gated Attention使用16个Q头和4个KV头，头维度256
旋转位置嵌入维度：64
基本用法
模型权重和配置文件兼容Hugging Face Transformers、vLLM、SGLang等推理框架。建议通过微调或使用微调后的聊天版本进行实际应用。
限制
该模型为预训练基座模型，不适合直接用于交互式应用。官方建议使用经过微调的聊天版本进行对话场景。
许可证
原始内容中未包含具体的许可证信息。
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。