模型介绍
中文整理SmolVLM2-256M-Married-Qwen3-0.6B
本项目基于 SmolVLM2-256M 与 Qwen3-0.6B 构建，视觉编码器采用 SigLIP2 权重进行初始化，并通过 Connector 与 Qwen3-0.6B 拼接对接，借助Qwen3能力，支持中文描述。 在数据方面，模型使用 Objects365 数据集（170 万+ 图像） 进行训练。每张图像均配备 1 条 caption 以及 3 组简短的问答，以提升模型在视觉理解与跨模态对话中的能力。 在训练策略上，本项目采用 SigLIP2 编码器后 4 层 + Connector + Qwen3-Dora 的方式进行联合训练。 需要特别说明的是，本项目主要目的是在开源社区中复现并整合现有技术，探索轻量化多模态模型的组合与适配，并未提出新的方法或创新点。
This project is built upon SmolVLM2-256M and Qwen3-0.6B, with the vision encoder initialized using SigLIP2 weights. A Connector module is employed to align and integrate with Qwen3-0.6B, leveraging Qwen3’s capabilities to support Chinese descriptions.
For training, the model is trained on the Objects365 dataset (1.7M+ images). Each image is annotated with one caption and three short Q&A pairs, aiming to enhance the model’s ability in visual understanding and cross-modal dialogue.
In terms of training strategy, the project adopts a combination of the last four layers of the SigLIP2 encoder, the Connector, and Qwen3-Dora for joint training.
It should be noted that this project primarily aims to reproduce and integrate existing techniques within the open-source community, exploring the composition and adaptation of lightweight multimodal models, and does not propose new methods or innovations.
Resources
感谢chenshaohon的分享，学到了很多
Online Demo: SmolVLM2-256M-Married-Qwen3-0.6B-Demo
知乎：SmolVLM-Married-Qwen3 缝合怪-超小多模态中文模型
Tensorboard
How to get started
Some Demo
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。