OmniGen2

模型名称

OmniGen2

模型用途

OmniGen2 是一个强大的多模态生成模型，能够根据文本提示生成图像、基于指令编辑图像，并支持上下文生成功能。

主要能力

视觉理解：继承自 Qwen-VL-2.5 基础模型的强大图像内容理解和分析能力。

文生图：根据文本提示生成高保真、美观的图像。

指令引导的图像编辑：执行复杂的、基于指令的图像修改，在开源模型中达到领先水平。

上下文生成：处理并灵活组合多种输入（包括人物、参考物体和场景），生成新颖且连贯的视觉输出。

输入输出

输入：文本提示、参考图像

输出：生成的图像或编辑后的图像

运行要求

OmniGen2 原生需要 NVIDIA RTX 3090 或同等规格的 GPU，约 17GB 显存。显存不足的设备可启用 CPU Offload 功能运行。

在 A800 GPU 上的推理性能：默认配置下推理速度约为 0.8 it/s（50 步）。

基本用法

关键超参数说明：

text guidance scale：控制输出对文本提示的遵循程度（无分类器引导）。

image guidance scale：控制最终图像与输入参考图像的相似程度。较高值使输出更忠实于参考图像的结构和风格，但可能忽略部分文本提示；较低值（约 1.5）赋予文本提示更大影响力。图像编辑任务建议设置在 1.2-2.0 之间；上下文生成任务建议设置在 2.5-3.0 之间以保持更多输入图像细节。

max pixels：当图像总像素数超过此限制时自动调整图像大小，同时保持宽高比。默认值为 1024×1024，内存不足时可降低此值。

max input image side length：输入图像的最大边长。

negative prompt：指定不希望出现在图像中的元素。默认提示词为 blurry, low quality, text, watermark。

enable model cpu offload：将不使用的模型权重卸载到 CPU 内存，可将显存占用降低约 50%，对速度影响微乎其微。

enable sequential cpu offload：按子模块顺序卸载模型，显存占用可降至 3GB 以下，但推理速度会显著变慢。

cfg range start / cfg range end：定义应用 CFG 的时间步范围。降低 cfg range end 可显著减少推理时间，对质量影响很小。

scheduler：选择求解器类型，可选 euler 或 dpmsolver++，默认 euler。dpmsolver++ 可能在更少步数下获得更好性能。

num inference step：ODE 求解器的离散化步数，默认值为 50。

使用建议：提供清晰、高分辨率（大于 512×512 像素）的图像；指令要具体，明确说明要修改什么以及如何修改；优先使用英文提示词；生成图像与输入图像主体一致性不佳时，可尝试使用更大尺寸的图像、增加图像引导比例（如设为 3.0）、或使用更长的提示词。

限制

模型有时无法很好地遵循指令，可通过增加每提示词的图像数量生成多张图像以选择满意结果，或尝试不同的提示词。

模型无法自行决定输出图像尺寸，默认尺寸为 1024×1024。输入图像时，输出尺寸会自动匹配输入图像（编辑任务效果最佳）。若需修改多张图像中的某一张，也应设置输出尺寸匹配该图像，否则可能导致输出质量下降。

上下文生成能力有时会产生与原物体不同的对象。建议的改进方法包括：增加图像引导比例（建议设为 3.0）、使用高分辨率图像、确保待使用的物体在图像中占据更大比例、以及修改提示词。但与 GPT-4o 相比仍存在差距。

与 OmniGen 1.0 相比，OmniGen2 虽有改进，但仍存在许多问题，可能需要多次尝试才能获得满意结果。

许可证

未在文档中明确说明许可证信息。