Model details
模型介绍
中文整理Pixel-Aware Stable Diffusion for Realistic Image Super-Resolution and Personlized Stylization 图像超分辨率和风格化
该模型为图像超分辨修复，输入一个低清晰度图像，返回修复的高清晰度图像。通过切换基模可以实现风格化。切换基模的方式可以在configuration.json文件中找到。
模型框架如下:
模型描述
该模型基于Stable Diffusion v1.5与diffusers进行构建。
模型期望使用方式和适用范围
- 该模型适用于多种场景的图像输入，特别的在人像场景有优异的表现；
- 该模型推理时对机器GPU显存有一定要求；我们已经做了很多减少显存的操作，包括采用FP16、开启enable model cpu offload以及VAE decoder的tiled操作等。如果没有GPU显卡或显存不足够，可以尝试使用CPU模式进行推理，但速度会特别慢。
- 推荐使用torch2.0以上版本，否则显存很容易OOM。
如何使用Pipeline
在ModelScope框架上，提供输入低清图像，即可以通过简单的Pipeline调用来使用PASD图像超分辨率修复模型。
依赖
推理代码范例
推理代码说明
Pipeline调用参数
- 输入要求：输入字典中必须指定的字段有'image'，；其他可选输入字段及其默认值包括：
其中fidelity scale fg和fidelity scale bg两个值分别用于控制前景（人脸区域）和背景的控制强度，强度越弱（值越小），生成的能力越强；强度越强（值越大），保真能力越好。
如果遇到报错类似于：
请考虑卸载awq:
模型局限性以及可能的偏差
在一些场景下，模型的处理效果可能不佳。可以通过更改种子或者调整prompt等尝试多次生成，取最佳的结果。
模型对显存的要求比较大，对于显存较小的机器，建议降低放大分辨率，调低upscale值。
说明与引用
本算法模型源自一些开源项目：
https://github.com/AUTOMATIC1111/stable-diffusion-webui
https://github.com/huggingface/diffusers
https://github.com/pkuliyi2015/multidiffusion-upscaler-for-automatic1111
如果你觉得这个模型对你有所帮助，请考虑引用下面的相关论文：
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行环境运行模型需要的设备、工具与依赖，以原作者说明为准。
授权范围是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
Problem with the information or download?
Sign in to submit feedback.
