模型介绍
中文整理OFA-图像描述(英文)
News
2022年11月：
- 发布ModelScope 1.0版本，以下能力请使用1.0.2及以上版本。
- 新增OFA Tutorial。
图像描述是什么？
如果你希望为一张图片配上一句文字，或者打个标签，OFA模型就是你的绝佳选择。你只需要输入任意1张你的图片，很快你就能收获一段精准的描述。
本系列还有如下模型，欢迎试用：
tiny-通用场景-英文
large-通用场景-英文
huge-通用场景-中文
base-电商场景-中文
快速玩起来
玩转OFA只需区区以下6行代码，就是如此轻松！如果你觉得还不够方便，请点击右上角Notebook按钮，我们为你提供了配备了的环境，CPU和GPU都支持哦，你只需要在notebook里输入提供的代码，就可以把OFA玩起来了!
注：因为本模型参数量大小6B，所以需要显存大于40G的GPU机器。
OFA是什么？
OFA(One-For-All)是通用多模态预训练模型，使用简单的序列到序列的学习框架统一模态（跨模态、视觉、语言等模态）和任务（如图片生成、视觉定位、图片描述、图片分类、文本生成等），详见我们发表于ICML 2022的论文：OFA: Unifying Architectures, Tasks, and Modalities Through a Simple Sequence-to-Sequence Learning Framework，以及我们的官方Github仓库https://github.com/OFA-Sys/OFA。
Github  ｜  Paper   ｜  Blog
OFA模型规模：
ModelParams-enParams-zhBackboneHidden sizeIntermediate sizeNum. of headsEnc layersDec layers
OFATiny33M-ResNet502561024444
OFAMedium93M-ResNet1015122048844
OFABase180M160MResNet10176830721266
OFALarge470M440MResNet15210244096161212
OFAHuge930M-ResNet15212805120162412
OFA6B6B-ViT-huge256010240323624
为什么OFA是图像描述的最佳选择？
OFA在图像描述（image captioning）任务的权威数据集Microsoft COCO Captions官方榜单成功登顶（6B模型还在优化中，目前没有测试集的分）想看榜单，点这里），并在经典测试集Karpathy test split取得CIDEr 154.9的分数。具体如下：
StageCross Entropy OptimizationCIDEr Optimization
MetricBLEU-4METEORCIDErSPICEBLEU-4METEORCIDErSPICE
OFABase41.030.9138.224.242.831.7146.725.8
OFALarge42.431.5142.224.543.632.2150.726.2
OFAHuge43.931.8145.324.844.932.5154.926.6
模型训练流程
训练数据介绍
本模型训练数据集是MS COCO Caption。
训练流程
finetune能力请参考OFA Tutorial 1.4节。
模型局限性以及可能的偏差
训练数据集自身有局限，有可能产生一些偏差，请用户自行评测后决定如何使用。
相关论文以及引用
如果你觉得OFA好用，喜欢我们的工作，欢迎引用：
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。