模型介绍
中文整理BLIP2-Qformer
简介 Brief Introduction
首个开源的中文BLIP2模型。我们遵循BLIP2的实验设置，采用itc、itm、lm损失，基于2亿中文图文对训练5个epoch，得到第一个中文版本的blip2模型。
The first open source Chinese BLIP2. We follow the experimental setup of BLIP2, we adopted itc, itm and lm losses, trained 5 epochs based on 200 million Chinese image pairs, and obtained the first Chinese version of BLIP2.
下游效果 Performance
Zero-Shot image-to-text-retrieval**
model COCO-CN Flickr30k-CN
- --- ---- ----
cn clip 60.4 80.2
cn blip2(ours) 70.3 85.7
Zero-Shot text-to-image-retrieval**
model COCO-CN Flickr30k-CN
- --- ---- ----
cn clip 64.0 68.0
cn blip2(ours) 71.4 70.46
使用 Usage
使用方式及场景
使用方式：
对输入的图像、文本数据进行特征提取
使用场景:
通用的图文跨模态检索任务
通用图文特征提取器
模型局限性以及可能的偏差
训练数据集自身有局限，有可能产生一些偏差，请用户自行评测后决定如何使用。
如果喜欢，敬请下载收藏！
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。