模型介绍
中文整理中文说明** **English**
项目介绍
本项目旨在提供更好的中文CLIP模型。该项目使用的训练数据均为公开可访问的图像URL及相关中文文本描述，总量达到400M。经过筛选后，我们最终使用了100M的数据进行训练。
本项目于QQ-ARC Joint Lab, Tencent PCG完成。我们也在github上开源了模型，QA-CLIP，welcome to star！
模型及实验
模型规模 & 下载链接
QA-CLIP目前开源3个不同规模，其模型信息和下载方式见下表：
模型规模 下载链接 参数量 视觉侧骨架 视觉侧参数量 文本侧骨架 文本侧参数量 分辨率
QA-CLIP RN50 Download 77M ResNet50 38M RBT3 39M 224
QA-CLIP ViT-B/16 Download 188M ViT-B/16 86M RoBERTa-wwm-Base 102M 224
QA-CLIP ViT-L/14 Download 406M ViT-L/14 304M RoBERTa-wwm-Base 102M 224
实验结果
针对图文检索任务，我们在MUGE Retrieval、Flickr30K-CN和COCO-CN上进行了zero-shot测试。
针对图像零样本分类任务，我们在ImageNet数据集上进行了测试。测试结果见下表：
Flickr30K-CN Zero-shot Retrieval (Official Test Set)**:
Task Text-to-Image Image-to-Text
Metric R@1 R@5 R@10 R@1 R@5 R@10
CN-CLIP RN50 48.8 76.0 84.6 60.0 85.9 92.0
QA-CLIP RN50 50.5 77.4 86.1 67.1 87.9 93.2
CN-CLIP ViT-B/16 62.7 86.9 92.8 74.6 93.5 97.1
QA-CLIP ViT-B/16 63.8 88.0 93.2 78.4 96.1 98.5
CN-CLIP ViT-L/14 68.0 89.7 94.4 80.2 96.6 98.2
AltClip ViT-L/14 69.7 90.1 94.8 84.8 97.7 99.1
QA-CLIP ViT-L/14 69.3 90.3 94.7 85.3 97.9 99.2
MUGE Zero-shot Retrieval (Official Validation Set)**:
Task Text-to-Image Image-to-Text
Metric R@1 R@5 R@10 R@1 R@5 R@10
CN-CLIP RN50 42.6 68.5 78.0 30.0 56.2 66.9
QA-CLIP RN50 44.0 69.9 79.5 32.4 59.5 70.3
CN-CLIP ViT-B/16 52.1 76.7 84.4 38.7 65.6 75.1
QA-CLIP ViT-B/16 53.2 77.7 85.1 40.7 68.2 77.2
CN-CLIP ViT-L/14 56.4 79.8 86.2 42.6 69.8 78.6
AltClip ViT-L/14 29.6 49.9 58.8 21.4 42.0 51.9
QA-CLIP ViT-L/14 57.4 81.0 87.7 45.5 73.0 81.4
COCO-CN Zero-shot Retrieval (Official Test Set)**:
Task Text-to-Image Image-to-Text
Metric R@1 R@5 R@10 R@1 R@5 R@10
CN-CLIP RN50 48.1 81.3 90.5 50.9 81.1 90.5
QA-CLIP RN50 50.1 82.5 91.7 56.7 85.2 92.9
CN-CLIP ViT-B/16 62.2 87.1 94.9 56.3 84.0 93.3
QA-CLIP ViT-B/16 62.9 87.7 94.7 61.5 87.6 94.8
CN-CLIP ViT-L/14 64.9 88.8 94.2 60.6 84.4 93.1
AltClip ViT-L/14 63.5 87.6 93.5 62.6 88.5 95.9
QA-CLIP ViT-L/14 65.7 90.2 95.0 64.5 88.3 95.1
Zero-shot Image Classification on ImageNet**:
Task ImageNet
CN-CLIP RN50 33.5
QA-CLIP RN50 35.5
CN-CLIP ViT-B/16 48.4
QA-CLIP ViT-B/16 49.7
CN-CLIP ViT-L/14 54.7
QA-CLIP ViT-L/14 55.8
使用教程
安装要求
环境配置要求:
python >= 3.6.4
pytorch >= 1.8.0 (with torchvision >= 0.9.0)
CUDA Version >= 10.2
安装本项目所需库
推理代码
推理代码示例：
预测及评估
图文检索测试数据集下载
Chinese-CLIP 项目中已经预处理好测试集，这是他们提供的下载链接：
MUGE数据：下载链接
Flickr30K-CN数据：下载链接
另外COCO-CN数据的获取需要向原作者进行申请
ImageNet数据集下载
原始数据请自行下载，中文标签和英文标签同样由 Chinese-CLIP 项目提供
图文检索评估
图文检索评估代码可以参考如下：
ImageNet零样本分类
ImageNet零样本分类的代码参考如下
Huggingface模型及在线Demo
我们在huggingface网站上也开源了我们的模型，可以更方便的使用。并且也准备了一个简单的零样本分类的在线Demo供大家体验，欢迎大家来多多尝试！
⭐️QA-CLIP-ViT-B-16⭐️
⭐️QA-CLIP-ViT-L-14⭐️
下面是一些展示的例子：
致谢
项目代码基于 Chinese-CLIP 实现，非常感谢他们优秀的开源工作。
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。