模型详情
模型介绍
中文整理# MTVCraft 模型说明
模型用途
MTVCraft 是一个根据单一文本提示生成同步音频视频的框架，用于探索创建通用视听内容的潜在 pipeline。
## 主要能力
MTVCraft 采用多阶段 pipeline 设计。首先，使用 Qwen3 解析用户输入的提示词，将其分解为三类音频描述：人声、音效和背景音乐。随后，这些描述被输入 ElevenLabs 合成相应的音频轨道。最后，这些生成的音频轨道作为条件，引导 MTV 框架生成与声音时间同步的视频。
Qwen3 和 ElevenLabs 均可用具有类似功能的替代方案替换。
## 输入输出
- **输入**：单一文本提示
- **输出**：带有同步音频的视频
运行要求
- CUDA 12.1
- 依赖包：torch、torchvision、torchaudio、xformers
- 需要安装 ffmpeg
- 预训练模型：MTV 检查点、t5-v1_1-xxl 文本编码器、Cogvideox-5b 预训练的 3D VAE、Facebook 的 wav2vec 音频向量模型
基本用法
- **API 配置**：在 mtv/utils.py 文件中配置 API 密钥
- **批量推理**：运行推理脚本，从 ./examples/samples.txt 读取提示词，结果保存至 ./output 目录
- **Gradio 界面**：运行 Gradio UI 脚本启动图形界面
许可证
原文未提供许可证相关信息。
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
所选固定版本的完整仓库文件，包括模型权重、配置、分词器，以及作者提供的说明和其他文件。自动保留目录结构，不需要逐个选择或下载。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行环境
运行模型需要的设备、工具与依赖，以原作者说明为准。
授权范围
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。