模型介绍
中文整理MiniMax-H3 Ref2VA First-Frame Lineart LoRA
给 MiniMax-H3 的 Ref2VA 任务（参考 → 视频 + 音频）加上线稿首帧控制能力的 LoRA，共训练 1000 step。给一张首帧线稿和一段 prompt，即可生成以该线稿为开场构图、并把线稿"上色完成"为成片动画的视频 + 音频。
本模型同时是 MiniMax-H3-TrainingAdapter（DeCFG Training Adapter）方案在 Ref2VA 任务上的验证案例：训练时把一个 Ref2VA 版的 Training Adapter 作为 preset lora 融进基座，训练结束后只保留新训出的 LoRA。
LoRA 权重文件： model.safetensors
Prompt 与参考图写法
参考图是一张首帧线稿（RGB），通过 references 传入，顺序对应 prompt 里的 、 ……：
prompt 采用 Ref2VA 的多字段结构，字段名保持字面量原样书写。所有字段的内容都用英文书写，不要写中文：
subject definitions 、 retention analysis ：逐字固定的英文模板，直接照抄下方完整示例中的对应段落，不要改写
summary ：固定英文前缀加一句英文场景描述，前缀照抄下方完整示例
detailed description ：唯一完全自由编写的字段，英文。画面与分镜描述，多镜头用 [Shot 1] / [Shot 2] 标记，第一个镜头要写从 开始
overall soundscape / non diegetic music ：环境音与背景音乐，不需要时写 N/A
完整示例：
快速开始
- 安装 DiffSynth-Studio
或从源码安装：
- 推理
基座权重与 processor 均位于 Ref2VA/ 子目录。
训练方法
使用 Ref2VA 版 Training Adapter 作为 preset lora
MiniMax-H3 基座是经过 CFG 蒸馏的，直接在上面做 LoRA 微调容易不稳定，或者破坏蒸馏后的 CFG-free 行为。Training Adapter 在训练期间把蒸馏后的 DiT 临时拉回接近蒸馏前的状态，为新 LoRA 提供更好的优化面。
Ref2VA 任务使用 MiniMax-H3-TrainingAdapter 仓库下的 Ref2VA 版文件 model ref2va.safetensors 。
Training Adapter 只在训练时用，推理时不要加载**——本仓库发布的 model.safetensors 是已经脱离 Training Adapter 的独立 LoRA，直接加载到原版 MiniMax-H3 Ref2VA 即可。
思路来源：DiffSynth-Studio 的 Differential LoRA Training，以及 ai-toolkit 的 Training Adapter 概念。
完整训练脚本
8 卡训练，共 1000 step。
先下载 Training Adapter：
Stage 1：数据预处理**
Stage 2：训练 LoRA**
Stage 2 从缓存目录读数据，所以不再需要 --dataset metadata path 。
Note
- **如何加 Training Adapter**：在 Stage 2 的训练命令里加上 --preset lora path .safetensors --preset lora model dit ，训练框架会在训练开始前把 Training Adapter 融进 DiT。训练结束后只保留新训出的 LoRA，Training Adapter 不再需要，推理时也不要加载它。
- **音频 loss**：如果没有想要学习的音频目标，可以将 --audio loss weight 设置为 0 ，只优化视频分支，可以加快训练速度。
- **LoRA 注入位置**： --lora target modules 只覆盖 blocks.25 ~ blocks.49 （DiT 共 50 层）的后半段。这么设计是为了加速训练——未被 LoRA 覆盖的前半段模块不参与反向传播，效果也不错。
- **训练显存**：如果显存不够，可以尝试开启 DeepSpeed 等方式降低训练显存，参考 Low-VRAM Training。
效果示例
生成结果，统一参数：768×1344、124 帧 @ 24 fps、 num inference steps=30 、 seed=0 、 cfg scale=1.0 。每行左为输入线稿，右为生成结果。
相关链接
基座模型：MiniMax/MiniMax-H3
Training Adapter：DiffSynth-Studio/MiniMax-H3-TrainingAdapter
训练框架：DiffSynth-Studio
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。