模型介绍
中文整理OFA预训练模型
News
2023年1月：
- 优化了finetune流程，支持参数更新、自定义数据及脚本分布式训练等，见finetune示例。
2022年11月：
- 发布ModelScope 1.0版本，以下能力请使用1.0.2及以上版本。
- 新增OFA Tutorial。
OFA预训练模型是OFA在8个预训练任务（具体参见论文）上得到ckpt，是finetune下游任务的基础。
如何使用OFA预训练模型
Finetune
模型细节参考文档：OFA Tutorial 1.4节。
这里直接使用预训练模型在caption任务上进行实例演示，要求 ModelScope Library >= 1.2.0
ZeroShot
OFA预训练模型可以通过以下代码进行下载：
注：modelscope V1.0.0开始使用tag进行兼容性管理，目前策略是不指定tag的情况下使用modelscope版本发布前的最近的tag。因为预训练模型在modelscope==1.0.2版本后发布的，所以使用1.0.2版本的同学需要加上revision信息。
有了预训练模型，可以OFA自身的能力特点（One For All）利用预训练模型测试其在下游任务的效果，具体以caption能力作为示例：
OFA是什么？
OFA(One-For-All)是通用多模态预训练模型，使用简单的序列到序列的学习框架统一模态（跨模态、视觉、语言等模态）和任务（如图片生成、视觉定位、图片描述、图片分类、文本生成等），详见我们发表于ICML 2022的论文：OFA: Unifying Architectures, Tasks, and Modalities Through a Simple Sequence-to-Sequence Learning Framework，以及我们的官方Github仓库https://github.com/OFA-Sys/OFA。
Github  ｜  Paper   ｜  Blog
OFA模型规模
ModelParams-enParams-zhBackboneHidden sizeIntermediate sizeNum. of headsEnc layersDec layers
OFATiny33M-ResNet502561024444
OFAMedium93M-ResNet1015122048844
OFABase180M160MResNet10176830721266
OFALarge470M440MResNet15210244096161212
OFAHuge930M-ResNet15212805120162412
OFA 模型任务矩阵
目前ModelScope上面所有已经上传的模型和任务可以在下面导航表格看到，点击链接可以跳转到相应modelcard。
模型规模 预训练 图像描述 视觉问答 视觉定位 视觉蕴含 文生图 图像分类 文字识别 文本摘要 文本分类
- -- --- --- --- --- --- --- --- --- --- ---
OFATiny 英文 英文 - 英文 英文 - - - - -
OFAMedium 英文 - - - - - - - - -
OFABase 中文/英文 中文电商 - - - - - 场景中文 - -
OFALarge 中文/英文 英文 英文 中文/英文 英文 英文 英文 - 英文 英文
OFAHuge 英文 英文 英文 - - - - - - -
OFA6B - 英文 - - - - - - - -
相关论文以及引用
如果你觉得OFA好用，喜欢我们的工作，欢迎引用：
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。