Qwen-Image-i2L

Qwen-Image-i2L (Image to LoRA)

模型介绍

i2L (Image to LoRA) 模型是我们以疯狂的思路设计的模型结构。模型的输入为一张图片，输出为这张图片训练出的 LoRA 模型。

更多关于训练策略和实现细节，欢迎查看我们的技术博客。

本次开源的模型包括四个：

Qwen-Image-i2L-Style

• 简介：这是我们第一个称得上训练成功的模型，它的细节保持能力非常弱，但这反而让它能够有效地提取出图片中的风格信息，因此这个模型可用于风格迁移。
• 图像编码器：SigLIP2、DINOv3
• 参数量：2.4B

Qwen-Image-i2L-Coarse

• 简介：这个模型是 Qwen-Image-i2L-Style 的 scaling up 版本。它产生的 LoRA 已经能够保留图片中的内容信息，但细节并不完善。如果将这个模型用于风格迁移，则需要输入更多图片，否则模型将倾向于生成输入图片中的内容。我们不建议单独使用这个模型。
• 图像编码器：SigLIP2、DINOv3、Qwen-VL（分辨率为 224 x 224）
• 参数量：7.9B

Qwen-Image-i2L-Fine

• 简介：这个模型是 Qwen-Image-i2L-Coarse 的增量更新版本，必须与 Qwen-Image-i2L-Coarse 同时使用。它将 Qwen-VL 的图像编码分辨率提高到了 1024 x 1024，从而获得更多细节信息。
• 图像编码器：SigLIP2、DINOv3、Qwen-VL（分辨率为 1024 x 1024）
• 参数量：7.6B

Qwen-Image-i2L-Bias

• 简介：这个模型是静态的补充 LoRA。由于 Qwen-Image-i2L-Coarse 与 Qwen-Image-i2L-Fine 的训练数据与 Qwen-Image 基础模型的训练数据分布不同，因此其生成的 LoRA 生成的图片与 Qwen-Image 的偏好对齐不一致。使用此 LoRA 模型后，生成的图片会更接近 Qwen-Image 的风格。
• 图像编码器：无
• 参数量：30M

这些模型仍有诸多局限，在泛化能力、细节保持能力等方面还有很大改进空间，我们将这些模型开源，以启发更多创新性的研究工作。**

效果展示

Style

Qwen-Image-i2L-Style 模型可用于快速生成风格 LoRA，只需输入几张风格统一的图像。以下是我们生成的结果，随机种子都是 0。

风格1：抽象矢量

输入图像：

• - - - - -

生成图像：

a cat a dog a girl

• - -

风格2：黑白素描

输入图像：

• - - -

生成图像：

a cat a dog a girl

• - -

风格3：潦草手绘

输入图像：

• - - - -

生成图像：

a cat a dog a girl

• - -

风格4：蓝底扁平

输入图像：

• - - -

生成图像：

a cat a dog a girl

• - -

Coarse + Fine + Bias

Qwen-Image-i2L-Coarse、Qwen-Image-i2L-Fine、Qwen-Image-i2L-Bias 三者组合后可以生成保留图像内容和细节信息的 LoRA 权重，这组权重作为 LoRA 训练的初始化权重能够加速收敛速度。

LoRA 数据集：小狗背?

训练数据：

• - - - -

训练中的样图生成：

训练步数：100 训练步数：200 训练步数：300 训练步数：400 训练步数：500

• - - - - -

随机初始化

Image to LoRA 初始化

LoRA 数据集：小熊玩偶

训练数据：

• - - - -

训练中的样图生成：

训练步数：100 训练步数：200 训练步数：300 训练步数：400 训练步数：500

• - - - - -

随机初始化

Image to LoRA 初始化

LoRA 数据集：蓝莓小碗

训练数据：

• - - - - -

训练中的样图生成：

训练步数：100 训练步数：200 训练步数：300 训练步数：400 训练步数：500

• - - - - -

随机初始化

Image to LoRA 初始化

推理代码

安装 DiffSynth-Studio：

Qwen-Image-i2L-Style

Qwen-Image-i2L-Coarse、Qwen-Image-i2L-Fine、Qwen-Image-i2L-Bias

使用生成的 LoRA 生成图像