模型介绍
中文整理Stable Diffusion XL 1.0 TensorRT
Model use case
基于扩散的文本到图像生成模型,用于根据文本提示生成图像。
主要能力
提供SDXL base 1.0和SDXL refiner 1.0的TensorRT优化版本,支持sdxl、sdxl-lcm、sdxl-lcmlora三种变体。优化版本在推理速度和效率方面有显著提升。
输入输出
输入:文本提示
输出:生成的图像
运行要求
需要NVIDIA GPU(如A10、A100、H100)和TensorRT支持。需使用TensorRT NGC容器。
许可证
CreativeML Open RAIL++-M License
性能对比
30步1024x1024分辨率耗时:
A10 GPU:基准9399毫秒,优化后8160毫秒,提升约13%
A100 GPU:基准3704毫秒,优化后2742毫秒,提升约26%
H100 GPU:基准2496毫秒,优化后1471毫秒,提升约41%
30步1024x1024分辨率图像吞吐量:
A10 GPU:基准0.10张/秒,优化后0.12张/秒,提升约20%
A100 GPU:基准0.27张/秒,优化后0.36张/秒,提升约33%
H100 GPU:基准0.40张/秒,优化后0.68张/秒,提升约70%
LCM版本4步1024x1024分辨率耗时(A100 GPU):CLIP 1.08毫秒,Unet 192.02毫秒,VAE 228.34毫秒,总计426.16毫秒
LCM版本4步1024x1024分辨率耗时(H100 GPU):CLIP 0.78毫秒,Unet 102.8毫秒,VAE 126.95毫秒,总计234.22毫秒
基本用法
- 按照TensorRT NGC容器设置说明启动容器
- 从本仓库下载SDXL TensorRT文件
- 安装所需的库和依赖
- 执行TensorRT优化推理:
- SDXL:首次运行会在engine xl base和engine xl refiner目录中生成针对当前加速器的计划文件,后续运行会复用
- SDXL-LCM:首次运行会在--engine-dir目录中生成针对当前加速器的计划文件,后续运行会复用
- SDXL-LCMLORA:首次运行会在--engine-dir目录中生成针对当前加速器的计划文件,后续运行会复用
优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。
完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖,以原作者说明为准。
是否允许商用、修改和分发,请查看模型许可证。
闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。
资料或下载有问题?
登录后可提交反馈。
