yijunwang2-krea2-anypaint

模型用途

Krea 2 AnyPaint 为 Krea 2 Turbo 提供任意遮罩的图像修复、图像扩展和图像编辑功能。一个运行时即可处理内部编辑、画布扩展、断开的区域、狭窄结构以及跨越源边界的混合遮罩。

主要能力

支持任意形状和自由绘制的遮罩图像编辑；同画布图像修复；一次性扩展到更大画布；支持多个断开的编辑区域；支持狭窄、弯曲和跨越边界的遮罩；可在单次请求中同时完成修复和扩展；通过时间步匹配的潜在约束保留未遮罩区域。白色遮罩像素将被生成或编辑，黑色遮罩像素将被保留。辅助工具还会将放置源之外的所有像素标记为生成区域，因此同一输入合同同时适用于修复和扩展任务。

输入输出

运行时接受以下输入：一幅RGB源图像；一个二值遮罩，可为源图像尺寸或画布尺寸；输出画布尺寸为16的倍数；可选的源边界框坐标（x0, y0, x1, y1），以输出像素为单位；描述完整期望输出图像的提示词。源边界框必须位于画布内并保持源图像宽高比。源尺寸遮罩会被调整大小并与源图像一起放置，画布尺寸遮罩直接使用，源边界框外的区域始终为生成区域。完整遮罩画布被编码为最大边长384像素的参考图，其旋转坐标覆盖整个目标画布。全分辨率已知图像和保留遮罩在每个流步骤后单独保留可靠的未遮罩潜在标记。模型会刻意预留32像素的边界重绘区域以实现连贯融合。返回的图像是原始解码模型输出，不包含隐藏的生成后源图像合成。

运行要求

推荐设置如下：推理基础模型为krea/Krea-2-Turbo，步数为8，引导尺度为0.0，LoRA权重为1.0，参考最大边长为384像素，边界重绘区域为32像素，启用参考VLM编码和参考K/V缓存。该适配器针对Krea 2 Raw进行rank/alpha 32/32训练，适用于Krea 2 Turbo的蒸馏推理。

基本用法

对于纯修复任务，省略--bbox参数并使用与输出画布尺寸相同的源图像。对于扩展任务，在较大画布中提供源图像位置。遮罩还可额外选择任意内部区域进行重绘。工作流程如下：1. 放置源图像并保持其宽高比；2. 将源外画布与用户遮罩合并为一个生成区域；3. 将语义参考中生成像素替换为已知像素的中值颜色，完整参考以384像素最大边长编码；4. 去噪器使用目标相对参考坐标和隔离的参考K/V缓存；5. 每个流步骤后，在下一噪声级别恢复可靠的已知标记，同时保持遮罩边界自由进行连贯融合。

限制

大面积生成区域可能引入无关的主体或结构。非常细的遮罩特征可能被VAE和分块标记化 coarsened。模糊的提示词可能在32像素重绘区域附近改变更多上下文。模型可能再现Krea 2基础模型中存在的语义偏见。便携式BF16示例优先考虑可复现性而非最快的硬件特定量化运行时。

许可证

LoRA权重是Krea 2的衍生作品，根据Krea 2社区许可证发布（见LICENSE.pdf）。管道和辅助代码根据Apache 2.0许可证分发（见PIPELINE LICENSE）。这是非官方的社区发布，未获得Krea或Ostris的认可。训练数据未包含在内。