Model details
模型介绍
中文整理MiniMax-H3 Songyu LoRA
给 MiniMax-H3 注入「宋玉」(《凡人修仙传》)角色身份的人物 LoRA,共训练 2000 step。加载后,在 prompt 里写上触发词即可生成该角色的视频 + 音频。
本模型同时是 MiniMax-H3-TrainingAdapter(DeCFG Training Adapter)方案的一个完整验证案例。
LoRA 权重文件: model.safetensors
触发词与 Prompt 写法
触发词:
MiniMax-H3 的 T2VA prompt 采用三字段结构,字段名保持字面量原样书写:
integrated multimodal description :画面描述,多镜头用 [Shot 1] / [Shot 2] 标记,可在描述里写台词( (S1) 、 [Chinese] ... )
overall soundscape :环境音 / 音效
non diegetic music :背景音乐,不需要时写 N/A
完整示例:
Quick start
或从源码安装:
训练方法
使用 MiniMax-H3-TrainingAdapter 作为 preset lora
MiniMax-H3 基座是经过 CFG 蒸馏的,直接在上面做 LoRA 微调容易不稳定,或者破坏蒸馏后的 CFG-free 行为。MiniMax-H3-TrainingAdapter 在训练期间把蒸馏后的 DiT 临时拉回接近蒸馏前的状态,为新 LoRA 提供更好的优化面。
Training Adapter 只在训练时用,推理时不要加载**——本仓库发布的 model.safetensors 是已经脱离 Training Adapter 的独立 LoRA,直接加载到原版 MiniMax-H3 即可。
思路来源:DiffSynth-Studio 的 Differential LoRA Training,以及 ai-toolkit 的 Training Adapter 概念。
完整训练脚本
先下载 Training Adapter:
Stage 1:数据预处理**
Stage 2:训练 LoRA**
Note
- **如何加 Training Adapter**:在 Stage 2 的训练命令里加上 --preset lora path .safetensors --preset lora model dit ,训练框架会在训练开始前把 Training Adapter 融进 DiT。训练结束后只保留新训出的 LoRA,Training Adapter 不再需要,推理时也不要加载它。
- **音频 loss**:如果没有想要学习的音频目标,可以将 --audio loss weight 设置为 0 ,只优化视频分支,可以加快训练速度。
- **LoRA 注入位置**: --lora target modules 只覆盖 blocks.25 ~ blocks.49 (DiT 共 50 层)的后半段。这么设计是为了加速训练——未被 LoRA 覆盖的前半段模块不参与反向传播,效果也不错。
效果示例
生成结果,统一参数:768×1344、124 帧 @ 24 fps、 num inference steps=30 、 seed=0 。
相关链接
基座模型:MiniMax/MiniMax-H3
Training Adapter:DiffSynth-Studio/MiniMax-H3-TrainingAdapter
训练框架:DiffSynth-Studio
优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。
完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行环境运行模型需要的设备、工具与依赖,以原作者说明为准。
授权范围是否允许商用、修改和分发,请查看模型许可证。
闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。
Problem with the information or download?
Sign in to submit feedback.