multi-modal_clip-vit-huge-patch14_zh

中文CLIP

News

2022年11月：

• 发布ModelScope 1.0版本，以下能力请使用1.0.2及以上版本。
• 上线Huge模型(224分辨率)
• 上线创空间，更强大的demo展示：中文图文检索应用
• 支持finetune能力，具体参考中文CLIP Tutorial 3.3节。
• 推出中文CLIP论文，欢迎查阅更多细节。

模型与项目介绍

本项目为CLIP模型的中文版本，使用大规模中文数据进行训练（**~2亿图文对**），可用于图文检索和图像、文本的表征提取，应用于搜索、推荐等应用场景。

更多技术细节可以参考我们的技术报告和Github开源代码。

CLIP模型是来自OpenAI的经典图文表征模型，其采用双塔模型结构（如下图），利用大规模图文对平行语料进行对比学习，从而能够实现图片和文本的跨模态语义特征抽取。

原始的CLIP模型基于英文图文语料，不能用于中文的图文表征提取场景。本项目以英文CLIP视觉侧参数和中文Roberta参数，作为模型初始化值。

基于大规模原生中文图文数据，通过如下图所示的二阶段预训练策略（一阶段仅训练文本侧，二阶段同时训练），实现了CLIP模型的中文化版本。未来将在此持续更新。

本系列还有如下模型，欢迎试用：

Base224分辨率模型

Large224分辨率模型

Large336分辨率模型

快速用起来

提取特征不过区区数行代码，就可以通过我们的服务得到图像或文本的特征。如果你觉得还不够方便，请点击右上角 Notebook 按钮，我们为你提供了配备了GPU的环境，你只需要在notebook里输入提供的代码，就可以把中文CLIP玩起来了！

注：使用 Notebook 要验证下当前modelscope的版本号，如果版本低于1.0.2，可以点击更新镜像并启动，如下图所示：

让我们开始代码实例**

为什么中文CLIP是你的最佳选择？

我们实现的中文版本CLIP在多个公开数据集上取得杰出的效果，基本超出市面同类型baseline模型，同时整体效果优于我们先前推出的Large和Large336规模，尤其是zero-shot文搜图水平显著提升。

具体评测数据集包括MUGE（欢迎访问官网），Flickr30K-CN和COCO-CN，结果如下所示：

MUGE Text-to-Image Retrieval

SetupZero-shotFinetune

MetricR@1R@5R@10MRR@1R@5R@10MR

CN-CLIPViT-L56.379.886.274.163.385.691.380.1

CN-CLIPViT-H63.084.189.278.868.988.793.183.6

Flickr30K-CN Retrieval

TaskText-to-ImageImage-to-Text

SetupZero-shotFinetuneZero-shotFinetune

MetricR@1R@5R@10R@1R@5R@10R@1R@5R@10R@1R@5R@10

CN-CLIPViT-L68.089.794.482.796.798.680.296.698.296.199.599.9

CN-CLIPViT-H71.291.495.583.896.998.681.697.598.895.399.7100.0

COCO-CN Retrieval

TaskText-to-ImageImage-to-Text

SetupZero-shotFinetuneZero-shotFinetune

MetricR@1R@5R@10R@1R@5R@10R@1R@5R@10R@1R@5R@10

CN-CLIPViT-L64.089.294.478.996.399.060.484.292.980.296.799.2

CN-CLIPViT-H69.289.996.181.596.999.163.086.692.983.597.399.2

模型训练流程

训练数据介绍

本模型训练数据集是预训练数据集。

训练流程

finetune具体方法请您查阅中文CLIP Tutorial 3.3节。

使用方式及场景

使用方式：

对输入的图像、文本数据进行特征提取

使用场景:

通用的图文跨模态检索任务

通用图文特征提取器

模型局限性以及可能的偏差

训练数据集自身有局限，有可能产生一些偏差，请用户自行评测后决定如何使用。

相关引用

关于中文clip，我们已经推出了相关论文，有更多细节可以查阅，如对您的工作有帮助，欢迎引用。