模型介绍
中文整理mPLUG-Owl介绍
mPLUG-Owl是一种面向多模态语言模型的模块化的训练范式。其能学习与语言空间相适应的视觉知识，并支持在多模态场景(支持图片、文本输入)下进行多轮对话。它涌现多图关系理解，场景文本理解和基于视觉的文档理解等能力。
模型描述
mPLUG-Owl基于mPLUG-2模块化的思想，通过多阶段分别训练模型的视觉底座与语言模型，使其视觉知识能与预训练语言模型紧密协作，达到了显著优于主流多模态语言模型的效果。
在线体验
ModelScope Hugging Face
- -
[](https://huggingface.co/spaces/MAGAer13/mPLUG-Owl)
期望模型使用方式以及适用范围
本模型主要接受用户的多模态输入，已支持文本、图像、视频。同时也支持和用户进行多轮对话。具体使用方式参考代码示例。
如何使用
安装最新版本的Modelscope之后即可使用mPLUG-Owl。
以下为一个图文对话的使用示例：
示例展示
评估数据集OwlEval
我们提出了针对视觉相关指令的测评集 OwlEval，用以评估多模态语言模型的对带有视觉信息上下文的理解能力。
引用
如果我们的工作对你有帮助，可以考虑给我们的仓库点个star & 引用我们的论文。
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。