模型介绍
中文整理Taiyi-Stable-Diffusion-1B-Chinese-v0.1
Github: Fengshenbang-LM
Docs: Fengshenbang-Docs
API：Fengshen-OpenAPI
简介 Brief Introduction
首个开源的中文Stable Diffusion动漫模型，基于100万筛选过的动漫中文图文对训练。训练细节可见开源版二次元生成器！IDEA研究院封神榜团队发布第一个中文动漫Stable Diffussion模型，更多text2img案例可见太乙动漫绘画使用手册1.0
The first open source Chinese Stable diffusion Anime model, which was trained on M1 filtered Chinese Anime image-text pairs. See details in IDEA Research Institute Fengshenbang team released the first opensource Chinese anime Stable Diffussion model, see more text2img examples in Taiyi-Anime handbook
模型分类 Model Taxonomy
需求 Demand 任务 Task 系列 Series 模型 Model 参数 Parameter 额外 Extra
:------------: :-----------------: :-----------: :----------------: :--------------: :----------:
特殊 Special 多模态 Multimodal 太乙 Taiyi Stable Diffusion 1B Chinese
模型信息 Model Information
我们将两份动漫数据集(100万低质量数据和1万高质量数据)，基于IDEA-CCNL/Taiyi-Stable-Diffusion-1B-Chinese-v0.1 模型进行了两阶段的微调训练，计算开销是4 x A100 训练了大约100小时。该版本只是一个初步的版本，我们将持续优化并开源后续模型，欢迎交流。
We use two anime dataset(1 million low-quality data and 10k high-qualty data) for two-staged training the chinese anime model based our pretrained model IDEA-CCNL/Taiyi-Stable-Diffusion-1B-Chinese-v0.1. It takes 100 hours to train this model based on 4 x A100. This model is a preliminary version and we ~~will~~ update this model continuously and open sourse. Welcome to exchange！
Result
首先一个小窍门是善用超分模型给图片质量upup：
The first tip is to make good use of the super resolution model to give the image quality a boost:
比如这个例子：
生成图片的图片是512 * 512（大小为318kb）：
在webui里面选择extra里的R-ESRGAN 4x+ Anime6B模型对图片质量进行超分：
就可以超分得到2048 * 2048（大小为2.6Mb）的超高清大图，放大两张图片就可以看到清晰的区别，512 * 512的图片一放大就会变糊，2048 * 2048的高清大图就可以一直放大还不模糊：
以下例子是模型在webui运行获得。
These example are got from an model running on webui.
首先是风格迁移的例子：
Firstly some img2img examples:
下面则是一些文生图的例子：
The Next are some text2img examples:
prompt1 prompt2
- ---------------------------------------------------------------------------------- -------------------------------------------------------------------------------------------------------------------
1个男生,帅气,微笑,看着阅图者,简单背景,白皙皮肤,上半身,衬衫,短发,单人 1个女孩,绿色头发,毛衣,看向阅图者,上半身,帽子,户外,下雪,高领毛衣
户外,天空,云,蓝天,无人,多云的天空,风景,日出,草原 室内,杯子,书,无人,窗,床,椅子,桌子,瓶子,窗帘,阳光,风景,盘子,木地板,书架,蜡烛,架子,书堆,绿植,梯子,地毯,小地毯
户外,天空,水,树,无人,夜晚,建筑,风景,反射,灯笼,船舶,建筑学,灯笼,船,反射水,东亚建筑 建筑,科幻,城市,城市风景,摩天大楼,赛博朋克,人群
无人,动物,(猫:1.5),高清,棕眼 无人,动物,(兔子:1.5),高清,棕眼
使用 Usage
webui配置 Configure webui
非常推荐使用webui的方式使用本模型，webui提供了可视化的界面加上一些高级修图、超分功能。
It is highly recommended to use this model in a webui way. webui provides a visual interface plus some advanced retouching features.
Taiyi Stable Difffusion WebUI
半精度 Half precision FP16 (CUDA)
添加 torch dtype=torch.float16 和 device map="auto" 可以快速加载 FP16 的权重，以加快推理速度。
更多信息见 the optimization docs。
使用手册 Handbook for Taiyi
太乙handbook
太乙绘画手册v1.1
太乙动漫绘画手册v1.0
怎样微调 How to finetune
finetune code
DreamBooth
DreamBooth code
引用 Citation
如果您在您的工作中使用了我们的模型，可以引用我们的总论文：
If you are using the resource for your work, please cite the our paper:
也可以引用我们的网站:
You can also cite our website:
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。