模型详情
模型介绍
中文整理# Emu3 模型卡片
模型用途
Emu3是一个开源多模态模型，通过next-token prediction（下一个token预测）任务进行训练。通过将图像和文本标记化为离散空间，Emu3在多模态序列混合数据上从头训练单个transformer。它是基于transformer架构的自回归语言模型。
## 主要能力
- *图像生成**：能够根据文本输入生成高质量图像，只需预测下一个视觉token。支持灵活的分辨率和风格。
- *视觉语言理解**：具备强大的视觉语言理解能力，能够感知物理世界并提供连贯的文本响应。该能力不依赖CLIP和预训练LLM。
- *视频生成**：通过预测视频序列中的下一个token来生成视频，与Sora等视频扩散模型不同。给定一段视频后，模型能够自然扩展视频，预测接下来会发生什么。
- *性能表现**：在生成和感知任务上优于多个知名任务特定模型，超越SDXL、LLaVA-1.6和OpenSora-1.2等旗舰开源模型，同时无需扩散或组合架构。
## 输入输出
- *输入**：文本提示（需遵循特定模板格式）
- *输出**：图像、视频或文本响应
运行要求
- transformers >= 4.48.0
- GPU设备
- 建议使用Flash-Attention 2加速生成
基本用法
需遵循正确的提示模板格式：USER: xxx ASSISTANT:
在想要查询图像的位置添加相应token。
许可证
开源模型
## 参考资源
https://github.com/baaivision/Emu3
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
所选固定版本的完整仓库文件，包括模型权重、配置、分词器，以及作者提供的说明和其他文件。自动保留目录结构，不需要逐个选择或下载。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行环境
运行模型需要的设备、工具与依赖，以原作者说明为准。
授权范围
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。