moss-image-sft-comfyui

MOSS-Image-SFT — ComfyUI 单文件 + int8 convrot 一体化?

把 openmoss/MOSS-Image-SFT 整理成

ComfyUI 原生单文件格式**并对 DiT / 文本编码器做 **int8 张量级量化 + ConvRot 旋转**，

同时附上可直接拖入的 **ComfyUI 工作流**与所需的 **自定义节点**。下载完即可开跑，不用再拼目录。

⚠️ **本仓库不是官方发布。** 模型转换、量化与工作流由第三方（个人）完成，

• *与 OpenMOSS 团队无关，未获官方背书**。

仓库内的 custom nodes/moss-image/ 是**上游官方插件原样收录**（未做任何改动），版权归原作者；

版权与许可详见各自的 LICENSE 文件。

仓库内容

路径 说明 大小

• -- --- ---

moss image sft int8 convrot.safetensors DiT / transformer，262 层量化为 int8 5.19 GB

moss image qwen35 9b int8 convrot.safetensors 文本编码器（Qwen3.5-9B），249 层量化为 int8 8.86 GB

moss image sft vae.safetensors VAE（Flux2 结构），**未量化** 249.5 MB

workflows/MOSS-Image-SFT int8.json ComfyUI 工作流（UI 格式，直接拖入即可） 32 KB

custom nodes/moss-image/ ComfyUI 加载节点，**上游原版，原样收录** 60 KB

LICENSE Apache License 2.0 —

原权重 bf16 合计约 27.2 GB，量化后 DiT + 文本编码器从 19.0 GB 压到 14.05 GB。

改了什么（Apache-2.0 要求的修改标注）

① DiT 与文本编码器 → 量化**

格式： int8 tensorwise ， convrot: true ， convrot groupsize: 256

• *DiT 量化 262 层**： layers.{0..41}.proj.{q,k,v,o,ffn up gate,ffn down} （42×6）

+ text embedder.blocks.{0,1}.{qkv,proj,ffn gate,ffn up,ffn down} （2×5）

• *文本编码器量化 249 层**： model.embed tokens + 各 block 内的 Linear

（ self attn.{q,k,v,o} proj 、 mlp.{gate,up,down} proj 、

linear attn.{in proj qkv,in proj z,in proj b,in proj a,out proj} ）

• *刻意不量化**：所有 norm、全部 bias、卷积、调制层（ shared block modulation 、

video head modulation ）、 video embedder 、 final linear video 、 rope.bands ，

以及文本编码器的完整视觉塔与 linear attn.conv1d

② 未量化张量按原始字节直通**，保持原 BF16 精度，不经过任何精度转换

③ VAE 重打包**为 ComfyUI 原生单文件格式，键名与官方 flux2-vae.safetensors 一致

④ 文本编码器键名适配 ComfyUI 的加载约定**：磁盘上存 model.language model.* /

model.visual.* （ComfyUI 加载时会自行再做一次前缀替换成 model.* / visual.* ）

量化走 ComfyUI 内置的 comfy kitchen.tensor.TensorWiseINT8Layout 。

精度

组件 层数 相对原权重的 cos 最小值

• -- --- ---

DiT 262 0.9999514

文本编码器 249 0.9999564

VAE 未做任何数值改动：与 diffusers 原实现逐像素对拍 **mse 7.0e-09**（fp32）。

（同一对拍下 bf16 会升到 3.5e-06，相差约 500 倍 —— 原始发行版就是 fp32。）

安?

环境**：ComfyUI >= 0.41.0 （需要 comfy kitchen 的 int8 ConvRot 算子）。

① 自定义节点** —— 把本仓库的 custom nodes/moss-image/ 整个文件夹复制到：

该插件由上游官方提供，仓库：github.com/OpenMOSS/MOSS-Image

（ pyproject.toml 里带 ComfyUI Registry 发布元数据， PublisherId = "mosi" ，

也可以在 ComfyUI-Manager 里搜 MOSS-Image 装）。**本仓库收录的是原版，未做改动。**

② 模型文件** —— 下载后按 ComfyUI 的目录约定放置：

文件 放到

• -- ---

moss image sft int8 convrot.safetensors ComfyUI/models/diffusion models/

moss image qwen35 9b int8 convrot.safetensors ComfyUI/models/text encoders/

moss image sft vae.safetensors ComfyUI/models/vae/

③ 工作流** —— 把 workflows/MOSS-Image-SFT int8.json 拖进 ComfyUI 界面即可。

Workflows

13 个节点全部是 **ComfyUI 官方核心节点**（ cnr id: comfy-core ），

只有两个 MOSS 专用加载器来自上面那个插件。

工作流自带参数**（作者实测可用）：

参数 值

• -- ---

画布 ResolutionSelector → 9:16 (Portrait Widescreen) / 2 MP / 倍数 16 = **1088×1936**

采样器 / 调度器 euler / sgm uniform

步数 / CFG **20 / 5.0**

Shift **5.0**

SLG uncond skip layer **22**

注意力后端 comfy kitchen attention

seed randomize

官方示例的推荐参数**（原仓库 example workflows/moss-image-api.json ）为

50 步 / CFG 3.0，其余相同。两者都可用：官方 20 个示例中 19 个都是 50 步，

低步数 + 高 CFG 更快但细节更弱，按需取舍。

默认提示词**（来自原仓库 assets/prompt defaults.txt ）：

正向前缀： best quality, masterpiece

负向： nsfw, worst quality, bad anatomy, watermark, jpeg artifact

提示词写法**：MOSS-Image 接受两种输入 —— 长 caption（普通场景，如摄影、插画、人物）；

或带空间布局的 JSON（需要精确控制文字位置、多格排版、物体关系时）。

原仓库内置了一个免训练的 prompt 增强 skill（ skills/moss-image-prompt-enhancer ），

用 LLM 做布局规划、再由脚本把「左上原点的像素框」编译成模型要的

abs centralized / yxyx 坐标。

许可与致谢

原始模型：openmoss/MOSS-Image-SFT，Apache License 2.0

原始代码与 ComfyUI 插件：github.com/OpenMOSS/MOSS-Image，Apache License 2.0

本仓库的转换 / 量化部分同样以 **Apache License 2.0** 分发，见 LICENSE

致谢原作者的 Diffusers / Qwen / FLUX 技术栈