guangyingronghe

FLUX.1 Kontext Dev ConvRot 量化模型

本仓库新增了面向 **ComfyUI / NVIDIA GPU** 的两套 FLUX.1 Kontext [dev] ConvRot 量化权重：

文件 精度方案 大小 SHA-256 定位

• -- --- ---: --- ---

flux1-kontext-dev int8 convrot mseclip.safetensors 纯 INT8 MSE-clip ConvRot 11.981 GB ab9dbcf06152964a48c2302b87c35c492eabaac86e217cdf9bf73af52319ee67 精度和速度优先

flux1-kontext-dev under8g-r5c.safetensors INT4/INT8 ConvRot 混合精度 7.998 GB 264a6abc5babfe11fc7d7fc587c905f7a3dc6995e81b5370ab96337b7bc4958c 8 GB 以下部署

两者的目标都是在不依赖静默 BF16 回退的前提下，降低 Kontext Transformer 的存储与显存压力，并利用受支持 GPU 上的低精度计算路径获得加速。

本仓库原有的“光影融合”相关文件仍然保留；上面两个文件是新增的 FLUX.1 Kontext Transformer 量化权重，不是 LoRA。

为什么做这个版本

在本次工作开始时，公开生态中缺少可直接用于 FLUX.1 Kontext [dev] 的 **ConvRot 原生量化权重**。常见 FP8 权重虽然容易部署，但在本次同条件校准中，其误差和速度都没有优于 INT8 ConvRot；而全 INT4 又会明显放大量化误差。因此我们从 BF16 原始权重重新量化并进行了分层混合精度搜索，而不是从 FP8、INT8 或其他已量化模型二次量化，避免叠加误差。

R5C 的设计重点不是“所有层一刀切”，而是在文件体积约束下，把更高精度留给敏感层，把 INT4 用在相对稳健的层，从而获得更好的体积—精度折中。

量化与算法优化

• **BF16 母本直接量化**：所有量化均从同一个 BF16 官方母本开始，不从其他低精度模型继续量化。
• **MSE-clip INT8 ConvRot 基线**：逐线性层搜索裁剪范围，使用重构 MSE 优于简单 absmax 的范围；在测试中 304 个线性层均优于 absmax INT8。
• **真实 INT4 W4A4 ConvRot**：R5C 的 INT4 层采用 TensorCoreConvRotW4A4Layout ，权重与激活走运行环境支持的 W4A4/ConvRot 低精度路径，而不是只把文件标成 INT4、运行时却整体回退到 BF16。
• **细粒度 INT4/INT8 分配**：按线性层而非仅按整块分配精度；敏感层保留 INT8，稳健层使用 INT4，降低整块高精度回退带来的空间浪费。
• **激活感知校准**：使用官方示例图的多个变体、8 个提示词、8 个 sigma/timestep 和 2 个随机种子，缓存真实模型输入并比较 BF16 与量化 block 输出。
• **多目标 Pareto 搜索**：综合模型字节数、平均误差、P95/P99 尾部误差和敏感层约束进行全局搜索；R5C 是 8 GB 以下候选中“平均误差优先”的版本。
• **原生格式验证**：权重保持为 ComfyUI 可识别的 safetensors/ConvRot layout，并完成真实 Kontext 前向、NaN/Inf 与布局计数检查。

精度与体积对比

下表使用相同 BF16 母本和相同的 **7,296 个 block-output 样本**。误差指标为相对 BF16 block 输出的相对 L2 误差；数值越低越好。

模型 文件大小 平均误差 P95 P99 最大误差 1024×1024 热态 Transformer 单步

• -- ---: ---: ---: ---: ---: ---:

纯 INT8 MSE-clip ConvRot 11.981 GB **0.185%** **0.509%** **0.888%** **1.409%** **399.67 ms**

FP8 E4M3FN 11.902 GB 0.369% 1.215% 2.066% 2.723% 534.39 ms

• *R5C INT4/INT8 ConvRot** **7.998 GB** 0.532% 0.914% 1.095% 1.530% 尚未取得稳定独立值

同一测试中：

INT8 MSE-clip ConvRot 相比 FP8，平均误差约降低 **49.7%**，P95 约降低 **58.1%**。

INT8 MSE-clip ConvRot 的实测单步耗时比 FP8 低约 **25.2%**（仅代表本测试环境）。

R5C 相比纯 INT8 文件缩小约 **33.2%**，代价是代理误差上升；它主要解决 8 GB 以下部署需求。

R5C 相比 FP8 文件缩小约 **32.8%**，同时本次测试中的 P95、P99 和最大误差仍低于 FP8。

重要说明：这些是 block-output 代理误差，不等同于最终图像质量评分；速度会受到 GPU、CUDA、PyTorch、ComfyUI、分辨率和工作流影响。表内 1024×1024 单步数据来自 RTX PRO 6000 Blackwell 测试环境；另有用户在 RTX 3090 上实测 R5C 比纯 INT8 更快，但该反馈的完整工作流、软件版本和原始计时数据尚未归档，因此这里只记录兼容性与加速现象，不给出未经核验的加速百分比。

GPU 兼容性与加速说明

• *不是只支持 SM120/Blackwell。** ConvRot 是量化布局与计算方案，不等同于把模型锁死到某一个 GPU 架构；只要 ComfyUI、PyTorch/CUDA 和 comfy-kitchen 在目标 GPU 上实现并启用了对应布局，模型就有机会走低精度加速路径。
• *RTX 3090（Ampere）已有用户实测反馈**：R5C 可以正常运行，并且在其环境中比纯 INT8 更快。这说明 R5C 并非 Blackwell 专用。
• *RTX PRO 6000 Blackwell（SM120）已有完整工程验证**：完成原生布局加载、真实 Kontext 前向、NaN/Inf 检查与基准测试。

纯 INT8 模型需要 TensorWiseINT8Layout 支持；R5C 同时需要 TensorCoreConvRotW4A4Layout 与 TensorWiseINT8Layout 支持。

“理论可加速”不代表所有 NVIDIA GPU、所有 ComfyUI 版本都会获得相同收益。若后端缺少对应内核，可能加载失败、回退或因量化/调度开销而收益有限，应以目标机器实测为准。

模型仅包含 Transformer 权重；仍需准备 FLUX.1 Kontext 工作流所需的 VAE、CLIP-L、T5/tokenizer 等组件。

下载

也可以在本仓库“模型文件”页面选择所需版本。下载后建议校验：

预期值：

许可与免责声明

R5C 是从 FLUX.1 Kontext [dev] 权重派生的量化版本，使用时须遵守上游 FLUX.1 [dev] / Kontext 模型许可及其使用限制。本仓库页面中的 license: other 用于避免把该量化权重误标为 Apache 2.0。请在下载、再分发或商用前自行核对上游最新许可条款。

本模型为实验性量化权重。请遵守适用法律法规，不得用于侵权、违法或有害用途。