模型介绍
中文整理视觉问答介绍
视觉问答：给定一个问题和图片，通过图片信息来给出答案。需要模型具备多模态理解的能力，目前主流的方法大多是基于多模态预训练，最为知名的视觉问答数据集包括：VQA，GQA等。
模型描述
本任务是mPLUG，在翻译成中文的VQA数据集进行finetune的视觉问答下游任务。mPLUG模型是统一理解和生成的多模态基础模型，该模型提出了基于skip-connections的高效跨模态融合框架。其中，mPLUG在VQA上支持开放阈生成，达到开放阈生成的SOTA，详见：mPLUG: Effective and Efficient Vision-Language Learning by Cross-modal Skip-connections
模型生成结果如下图所示：
期望模型使用方式以及适用范围
本模型主要用于给问题和对应图片生成答案。用户可以自行尝试各种输入文档。具体调用方式请参考代码示例。
如何使用
在安装完成MaaS-lib之后即可使用visual-question-answering的能力 （注意：模型运行约需占用 9G 内存）
推理代码范例
模型局限性以及可能的偏差
模型在数据集上训练，有可能产生一些偏差，请用户自行评测后决定如何使用。
训练数据介绍
本模型训练数据集是VQA，数据集包含83k图片， 具体数据可以下载
模型训练流程
微调代码范例
数据评估及结果
mPLUG在VQA数据集，同等规模和预训练数据的模型中取得SOTA，VQA榜单上排名前列
相关论文以及引用信息
如果我们的模型对您有帮助，请您引入我们的文章：
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。