All systems operationalAI Agent Automation Platform
English
Language简体中文EnglishSelected

Choose your language

MiniMax-H3-Songyu-LoRA

mibei0804/MiniMax-H3-Songyu-LoRA

Publishermibei0804

Download access requirementsModelScope source

MiniMax-H3 Songyu LoRA 给 MiniMax-H3 注入「宋玉」(《凡人修仙传》)角色身份的人物 LoRA,共训练 2000 step。加载后,在 prompt 里写上触发词即可生成该角色的视频 + 音频。 本模型同时是 MiniMax-H3-TrainingAdapter(DeCFG Training Adapter)方案的一个完整验证案例。

Image Generation
Model details

模型介绍

中文整理

MiniMax-H3 Songyu LoRA

给 MiniMax-H3 注入「宋玉」(《凡人修仙传》)角色身份的人物 LoRA,共训练 2000 step。加载后,在 prompt 里写上触发词即可生成该角色的视频 + 音频。

本模型同时是 MiniMax-H3-TrainingAdapter(DeCFG Training Adapter)方案的一个完整验证案例。

LoRA 权重文件: model.safetensors

触发词与 Prompt 写法

触发词:

MiniMax-H3 的 T2VA prompt 采用三字段结构,字段名保持字面量原样书写:

integrated multimodal description :画面描述,多镜头用 [Shot 1] / [Shot 2] 标记,可在描述里写台词( (S1) 、 [Chinese] ... )

overall soundscape :环境音 / 音效

non diegetic music :背景音乐,不需要时写 N/A

完整示例:

Quick start

  • 安装 DiffSynth-Studio

或从源码安装:

  • 推理

训练方法

使用 MiniMax-H3-TrainingAdapter 作为 preset lora

MiniMax-H3 基座是经过 CFG 蒸馏的,直接在上面做 LoRA 微调容易不稳定,或者破坏蒸馏后的 CFG-free 行为。MiniMax-H3-TrainingAdapter 在训练期间把蒸馏后的 DiT 临时拉回接近蒸馏前的状态,为新 LoRA 提供更好的优化面。

Training Adapter 只在训练时用,推理时不要加载**——本仓库发布的 model.safetensors 是已经脱离 Training Adapter 的独立 LoRA,直接加载到原版 MiniMax-H3 即可。

思路来源:DiffSynth-Studio 的 Differential LoRA Training,以及 ai-toolkit 的 Training Adapter 概念。

完整训练脚本

先下载 Training Adapter:

Stage 1:数据预处理**

Stage 2:训练 LoRA**

Note

  • **如何加 Training Adapter**:在 Stage 2 的训练命令里加上 --preset lora path .safetensors --preset lora model dit ,训练框架会在训练开始前把 Training Adapter 融进 DiT。训练结束后只保留新训出的 LoRA,Training Adapter 不再需要,推理时也不要加载它。
  • **音频 loss**:如果没有想要学习的音频目标,可以将 --audio loss weight 设置为 0 ,只优化视频分支,可以加快训练速度。
  • **LoRA 注入位置**: --lora target modules 只覆盖 blocks.25 ~ blocks.49 (DiT 共 50 层)的后半段。这么设计是为了加速训练——未被 LoRA 覆盖的前半段模块不参与反向传播,效果也不错。

效果示例

生成结果,统一参数:768×1344、124 帧 @ 24 fps、 num inference steps=30 、 seed=0 。

相关链接

基座模型:MiniMax/MiniMax-H3

Training Adapter:DiffSynth-Studio/MiniMax-H3-TrainingAdapter

训练框架:DiffSynth-Studio

优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。

你将获得什么

完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。

完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。

使用前须知

运行环境

运行模型需要的设备、工具与依赖,以原作者说明为准。

授权范围

是否允许商用、修改和分发,请查看模型许可证。

闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。

Back to top