模型详情
模型介绍
中文整理Emu3：下一代token预测模型
Emu3团队，BAAI
模型用途
Emu3是一套先进的多模态模型，仅通过下一代token预测进行训练。通过将图像、文本和视频 tokenize 到离散空间中，我们在混合多模态序列上从头训练单个Transformer模型。
主要能力
图像生成：Emu3能够根据文本输入生成高质量图像，仅通过预测下一个视觉token即可实现。模型自然支持灵活的分辨率和风格。
视觉-语言理解：Emu3展现出强大的视觉-语言理解能力，能够感知物理世界并提供连贯的文本回复。值得注意的是，这一能力不依赖CLIP或预训练LLM。视频生成：与Sora等视频扩散模型不同，Emu3通过预测视频序列中的下一个token来因果性地生成视频。给定一段视频作为上下文，Emu3也能自然地扩展视频并预测后续内容。
性能表现
Emu3在生成和感知任务上均优于多个成熟的专用任务模型，超越了SDXL、LLaVA-1.6和OpenSora-1.2等领先的开源模型，同时无需扩散模型或组合架构。
输入输出
输入：文本、图像、视频（经tokenize处理后的离散序列）
输出：图像、文本、视频
运行要求
未提供具体硬件要求信息
基本用法
提供Autoencoding快速入门指南
限制
未明确说明模型局限性
许可证
未提供许可证信息
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行环境运行模型需要的设备、工具与依赖，以原作者说明为准。
授权范围是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。
