Model details
模型介绍
中文整理文本到图像生成扩散模型-中英文-通用领域-tiny
输入描述文本，基于端到端文本到图像生成模型，返回符合文本描述的2D图像。
（注意：本模型为文到图生成tiny版本。如需更优文到图生成效果，请移步完整50亿参数大模型：文本到图像生成扩散模型-中英文-通用领域-v1.0）
模型描述
文本到图像生成模型由文本特征提取与扩散去噪模型两个子网络组成。文本特征提取子网络为StructBert结构，扩散去噪模型为unet结构。通过StructBert提取描述文本的语义特征后，送入扩散去噪unet子网络，通过迭代去噪的过程，逐步生成复合文本描述的图像。
期望模型使用方式以及适用范围
本模型适用范围较广，能基于任意中文文本描述进行推理，生成图像。
如何使用
在ModelScope框架上，提供输入文本，即可以通过简单的Pipeline调用来使用文本到图像生成模型。
代码范例
模型局限性以及可能的偏差
模型基于LAION400M公开数据与互联网图文数据进行训练，生成结果可能会存在与训练数据分布相关的偏差。
训练数据介绍
训练数据包括LAION400M公开数据集，以及互联网图文数据。
模型训练流程
预处理
文本截断到长度64 (有效长度62)，图像缩放到64x64进行处理。
训练
模型分为文本特征提取与扩散去噪模型两个子网络，训练也是分别进行。文本特征提取子网络StructBert使用大规模中文文本数据上预训练得到。扩散去噪模型则使用预训练StructBert提取文本特征后，与图像一同训练文本到图像生成模型。
数据评估及结果
暂无。
相关论文以及引用信息
C Saharia, et, al. "Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding." 2022.
W Wang, et, al. "Structbert: Incorporating language structures into pre-training for deep language understanding." 2019.
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行环境运行模型需要的设备、工具与依赖，以原作者说明为准。
授权范围是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
Problem with the information or download?
Sign in to submit feedback.
