模型介绍
中文整理Emu3: Next-Token Prediction is All You Need
Emu3 Team, BAAI
模型用途
Emu3是一个开源多模态模型，通过next-token prediction任务进行训练。通过将图像和文本标记化为离散空间，Emu3在多模态序列混合数据上从头训练单个transformer。它是基于transformer架构的自回归语言模型。
主要能力
图像生成：Emu3能够根据文本输入生成高质量图像，只需预测下一个视觉token。支持灵活的分辨率和风格。
视觉语言理解：Emu3展现出强大的视觉语言理解能力，能够感知物理世界并提供连贯的文本响应。该能力不依赖CLIP和预训练的大型语言模型。
视频生成：Emu3通过预测视频序列中的下一个token来生成视频，与Sora等视频扩散模型不同。给定一段视频作为上下文，Emu3可以自然地扩展视频，预测接下来会发生什么。
性能表现：Emu3在生成和感知任务中优于多个成熟的任务特定模型超越了SDXL、LLaVA-1.6和OpenSora-1.6等旗舰开源模型，同时无需使用扩散模型或组合架构。
输入输出
输入：文本提示、图像、视频
输出：生成的图像、视频或文本响应
运行要求
需要transformers >= 4.48.0
建议使用GPU设备运行
建议使用Flash-Attention 2进一步加速生成
基本用法
以下是在GPU设备上以float16精度运行生成的示例脚本（需安装transformers库）。
限制
模型的具体限制信息未在原文中提供。
许可证
相关信息请参阅原始GitHub仓库。
资源
论文或更多资源：https://github.com/baaivision/Emu3
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
所选固定版本的完整仓库文件，包括模型权重、配置、分词器，以及作者提供的说明和其他文件。自动保留目录结构，不需要逐个选择或下载。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。