模型介绍
中文整理UniDiffuser是一个统一的diffusion框架，用于在一个转换器中拟合与有一组多模态数据相关的所有分布.
UniDiffuser能够通过设置适当的时间步来执行图像、文本、文本到图像、图像到文本和图像文本对生成，而无需额外的开销.
具体来说, UniDiffuser采用了一种称为 U-ViT的transformers变体，他对联合噪声预测网络进行参数化。其他组件充当不同模态的编码器和解码器，包括来自Stable Diffusion的预训练图像自动编码器, 预训练image ViT-B/32 CLIP encoder, 预训练 text ViT-L CLIP encoder, 以及我们微调的 GPT-2 文本解码器.
我们提供了两个版本的UniDiffuser:
UniDiffuser-v0: 这个版本是基于 LAION-5B训练的, 包含了文本图像对的嘈杂网络数据.
UniDiffuser-v1: 这个版本基于UniDiffuser-v0, 并使用了一组噪声较小的内部文本图像对继续训练. 他使用标志作为输入，并在训练期间区分网络数据和内部数据。
下载
我们提供了UniDiffusion的下载链接 this link, 并且也提供了UniDiffuser文件 this link.
这是文件是:
autoencoder kl.pth is the weight of the image autoencoder converted from Stable Diffusion.
caption decoder.pth is the weight of the finetuned GPT-2 text decoder.
uvit v0.pth/uvit v1.pth is the weight of U-ViT for UniDiffuser-v0/UniDiffuser-v1.
请注意，UniDiffuser-v0和UniDiffuser-v1共享 autoencoder kl.pth 和 caption decoder.pth . 只需要下载一次.
其他组件, 将自动下载.
用法
参考 UniDiffuser codebase.
模型细节
- *Model type:** Diffusion-based multi-modal generation model
- *Language(s):** English
- *License:** agpl-3.0
- *Model Description:** This is a model that can perform image, text, text-to-image, image-to-text, and image-text pair generation. Its main component is a U-ViT, which parameterizes the joint noise prediction network. Other components perform as encoders and decoders of different modalities, including a pretrained image autoencoder from Stable Diffusion, a pretrained image ViT-B/32 CLIP encoder, a pretrained text ViT-L CLIP encoder, and a GPT-2 text decoder finetuned by ourselves.
- *Resources for more information:** GitHub Repository, [Paper]().
直接使用方法
该模型应按照 agpl-3.0 许可证使用。 可能的用法包括
安全部署可能产生有害内容的模型。
探索和理解生成模型的局限性和偏见。
艺术作品的产生以及在设计和其他艺术过程中的使用。
在教育或创意工具中的应用。
生成模型研究。
排除的用途如下所述。
滥用、恶意使用和模型局限性
该模型不应用于故意创建或传播对人们造成敌对或疏远环境的图像。 这包括生成人们会预见到会感到不安、痛苦或冒犯的图像； 或传播历史或当前刻板印象的内容。
模型局限性
该模型未经过训练以真实或真实地表示人物或事件，因此使用该模型生成此类内容超出了该模型的能力范围。
滥用和恶意使用
使用该模型生成对个人残忍的内容是对该模型的滥用。 这包括但不限于：
对人或其环境、文化、宗教等进行贬低、非人化或其他有害的表述。
故意宣传或传播歧视性内容或有害的刻板印象。
未经个人同意冒充个人。
未经可能看到它的人同意的色情内容。
错误信息和虚假信息
极端暴力和血腥的表现
违反其使用条款共享受版权保护或许可的材料。
共享违反其使用条款更改版权或许可材料的内容。
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。