模型介绍
中文整理Emu3：下一个Token预测即是一切
Emu3团队，BAAI
模型用途
Emu3是一个先进的多模态模型系列，完全通过下一个Token预测进行训练。通过将图像、文本和视频 tokenize 到离散空间中，在一个混合多模态序列上从头训练单个Transformer。
主要能力
图像生成：Emu3能够根据文本输入生成高质量图像，只需预测下一个视觉Token。模型自然支持灵活的分辨率和风格。
视觉语言理解：Emu3展现出强大的视觉语言理解能力，能够感知物理世界并提供连贯的文本响应。值得注意的是，这一能力不依赖CLIP和预训练LLM。
视频生成：与Sora等视频扩散模型不同，Emu3通过预测视频序列中的下一个Token来因果性地生成视频。给定一段视频作为上下文，Emu3也能自然地扩展视频并预测后续内容。
性能表现：Emu3在生成和感知任务上均优于多个成熟的专用模型，超越了SDXL、LLaVA-1.6和OpenSora-1.2等开源旗舰模型，同时无需扩散模型或组合架构。
输入输出
输入：文本、图像、视频（经tokenize处理）
输出：图像、文本响应、视频
运行要求
模型支持图像描述和512x512分辨率图像生成。第一阶段预训练不使用视频数据，上下文长度为5120个Token。
基本用法
Emu3-Stage1是Emu3两阶段预训练过程第一阶段的预训练权重。在第一阶段，从头开始训练，使用文本和图像数据，上下文长度为5120。可使用训练脚本进行进一步指令微调，以支持更多图像生成和感知任务。
限制
原文未提供相关限制信息。
许可证
原文未提供许可证相关信息。
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。