模型介绍
中文整理中文CLIP
News
2022年11月:
- 发布ModelScope 1.0版本,以下能力请使用1.0.2及以上版本。
- 上线Huge模型(224分辨率)
- 上线创空间,更强大的demo展示:中文图文检索应用
- 支持finetune能力,具体参考中文CLIP Tutorial 3.3节。
- 推出中文CLIP论文,欢迎查阅更多细节。
- 推出去除optimizer相关参数的ckpt,文件更小,大家可以使用v1.0.1的ckpt,具体方法示例代码已经更新。
模型与项目介绍
本项目为CLIP模型的中文版本,使用大规模中文数据进行训练(**~2亿图文对**),可用于图文检索和图像、文本的表征提取,应用于搜索、推荐等应用场景。
CLIP模型是来自OpenAI的经典图文表征模型,其采用双塔模型结构(如下图),利用大规模图文对平行语料进行对比学习,从而能够实现图片和文本的跨模态语义特征抽取。
原始的CLIP模型基于英文图文语料,不能用于中文的图文表征提取场景。本项目以英文CLIP视觉侧参数和中文Roberta参数,作为模型初始化值。
基于大规模原生中文图文数据,通过如下图所示的二阶段预训练策略(一阶段仅训练文本侧,二阶段同时训练),实现了CLIP模型的中文化版本,未来将在此持续更新。
本系列还有如下模型,欢迎试用:
Base224分辨率模型
Large224分辨率模型
Huge224分辨率模型
快速用起来
提取特征不过区区数行代码,就可以通过我们的服务得到图像或文本的特征。如果你觉得还不够方便,请点击右上角 Notebook 按钮,我们为你提供了配备了GPU的环境,你只需要在notebook里输入提供的代码,就可以把中文CLIP玩起来了!
注:使用 Notebook 要验证下当前modelscope的版本号,如果版本低于0.3.7,可以点击更新镜像并启动,如下图所示:
让我们开始代码实例**
为什么中文CLIP是你的最佳选择?
我们实现的中文版本CLIP在多个公开数据集上取得杰出的效果,基本超出市面同类型baseline模型。具体评测数据集包括MUGE(欢迎访问官网),Flickr30K-CN和COCO-CN, 结果如下所示:
MUGE Text-to-Image Retrieval
SetupZero-shotFinetune
MetricR@1R@5R@10MRR@1R@5R@10MR
WukongViT-L42.769.078.063.252.777.985.672.1
R2D2ViT-L49.575.783.269.560.182.989.477.5
CN-CLIPViT-L56.379.886.274.163.385.691.380.1
CN-CLIPViT-L-33659.081.487.876.165.386.792.181.3
Flickr30K-CN Retrieval
TaskText-to-ImageImage-to-Text
SetupZero-shotFinetuneZero-shotFinetune
MetricR@1R@5R@10R@1R@5R@10R@1R@5R@10R@1R@5R@10
WukongViT-L51.778.986.377.494.597.076.194.897.592.799.199.6
R2D2ViT-L60.986.892.784.496.798.477.696.798.995.699.8100.0
CN-CLIPViT-L68.089.794.482.796.798.680.296.698.296.199.599.9
CN-CLIPViT-L-33669.090.795.484.497.198.783.397.298.596.699.8100.0
COCO-CN Retrieval
TaskText-to-ImageImage-to-Text
SetupZero-shotFinetuneZero-shotFinetune
MetricR@1R@5R@10R@1R@5R@10R@1R@5R@10R@1R@5R@10
WukongViT-L53.480.290.174.094.498.155.281.090.673.394.098.0
R2D2ViT-L56.485.093.179.196.598.963.389.395.779.397.198.7
CN-CLIPViT-L64.089.294.478.996.399.060.484.292.980.296.799.2
CN-CLIPViT-L-33664.789.694.680.196.799.263.487.294.481.297.299.1
模型训练流程
训练数据介绍
本模型训练数据集是预训练数据集。
训练流程
已经支持,具体请您查阅中文CLIP Tutorial 3.3节。
使用方式及场景
使用方式:
对输入的图像、文本数据进行特征提取
使用场景:
通用的图文跨模态检索任务
通用图文特征提取器
模型局限性以及可能的偏差
训练数据集自身有局限,有可能产生一些偏差,请用户自行评测后决定如何使用。
相关引用
关于中文clip,我们已经推出了相关论文,有更多细节可以查阅,如对您的工作有帮助,欢迎引用。
优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。
完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖,以原作者说明为准。
是否允许商用、修改和分发,请查看模型许可证。
闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。
Problem with the information or download?
Sign in to submit feedback.
