闲社服务运行正常AI智能体自动化平台
客户端下载帮助中心服务商入驻
中文
语言 / Language简体中文SelectedEnglish

选择显示语言

免费注册

CogVideoX-Fun-V1.5-5b-InP

PAI/CogVideoX-Fun-V1.5-5b-InP

发布机构PAI

下载访问条件魔搭来源

CogVideoX-Fun是一个基于CogVideoX结构修改后的的pipeline，是一个生成条件更自由的CogVideoX，可用于生成AI图片与视频、训练Diffusion Transformer的基线模型与Lora模型，我们支持从已经训练好的CogVideoX-Fun模型直接进行预测，生成不同分辨率，6秒左右、fps8的视频（1 ~ 49帧），也支持用户训练自己的基线模型与Lora模型，进行一定的风格变换。 我们会逐渐支持从不同平台快速启动，请参阅 快速启动。

视频生成
查看完整下载方法镜像仓库说明与许可证 ↗
模型详情

模型介绍

中文整理

CogVideoX-Fun

😊 Welcome!

English 简体中文

目录

目录

简介

快速启动

视频作品

如何使用

模型地址

未来计划

参考文献

许可证

简介

CogVideoX-Fun是一个基于CogVideoX结构修改后的的pipeline，是一个生成条件更自由的CogVideoX，可用于生成AI图片与视频、训练Diffusion Transformer的基线模型与Lora模型，我们支持从已经训练好的CogVideoX-Fun模型直接进行预测，生成不同分辨率，6秒左右、fps8的视频（1 ~ 49帧），也支持用户训练自己的基线模型与Lora模型，进行一定的风格变换。

我们会逐渐支持从不同平台快速启动，请参阅 快速启动。

新特性：

通过奖励反向传播技术训练Lora，以优化生成的视频，使其更好地与人类偏好保持一致，更多信息。新版本的控制模型，支持不同的控制条件，如Canny、Depth、Pose、MLSD等。[2024.11.21]

CogVideoX-Fun Control现在在diffusers中得到了支持。感谢 a-r-r-o-w在这个 PR中贡献了支持。查看文档以了解更多信息。[2024.10.16]

重新训练i2v模型，添加Noise，使得视频的运动幅度更大。上传控制模型训练代码与Control模型。[ 2024.09.29 ]

创建代码！现在支持 Windows 和 Linux。支持2b与5b最大256x256x49到1024x1024x49的任意分辨率的视频生成。[ 2024.09.18 ]

功能概览：

数据预处理

训练DiT

模型生成

我们的ui界面如下:

快速启动

  • 云使用: AliyunDSW/Docker

a. 通过阿里云 DSW

DSW 有免费 GPU 时间，用户可申请一次，申请后3个月内有效。

阿里云在Freetier提供免费GPU时间，获取并在阿里云PAI-DSW中使用，5分钟内即可启动CogVideoX-Fun。

[](https://gallery.pai-ml.com/#/preview/deepLearning/cv/cogvideox fun)

b. 通过ComfyUI

我们的ComfyUI界面如下，具体查看ComfyUI README。

c. 通过docker

使用docker的情况下，请保证机器中已经正确安装显卡驱动与CUDA环境，然后以此执行以下命令：

  • 本地安装: 环境检查/下载/安装

a. 环境检查

我们已验证CogVideoX-Fun可在以下环境中执行：

Windows 的详细信息：

操作系统 Windows 10

python: python3.10 & python3.11

pytorch: torch2.2.0

CUDA: 11.8 & 12.1

CUDNN: 8+

GPU： Nvidia-3060 12G & Nvidia-3090 24G

Linux 的详细信息：

操作系统 Ubuntu 20.04, CentOS

python: python3.10 & python3.11

pytorch: torch2.2.0

CUDA: 11.8 & 12.1

CUDNN: 8+

GPU：Nvidia-V100 16G & Nvidia-A10 24G & Nvidia-A100 40G & Nvidia-A100 80G

我们需要大约 60GB 的可用磁盘空间，请检查！

b. 权重放置

我们最好将权重按照指定路径进行放置：

视频作品

所展示的结果都是图生视频获得。

CogVideoX-Fun-V1.1-5B

Resolution-1024

Resolution-768

Resolution-512

CogVideoX-Fun-V1.1-5B with Reward Backpropagation

Prompt

CogVideoX-Fun-V1.1-5B

CogVideoX-Fun-V1.1-5B HPSv2.1 Reward LoRA

CogVideoX-Fun-V1.1-5B MPS Reward LoRA

Pig with wings flying above a diamond mountain

A dog runs through a field while a cat climbs a tree

CogVideoX-Fun-V1.1-5B-Control

A young woman with beautiful clear eyes and blonde hair, wearing white clothes and twisting her body, with the camera focused on her face. High quality, masterpiece, best quality, high resolution, ultra-fine, dreamlike.

A young woman with beautiful clear eyes and blonde hair, wearing white clothes and twisting her body, with the camera focused on her face. High quality, masterpiece, best quality, high resolution, ultra-fine, dreamlike.

A young bear.

CogVideoX-Fun-V1.1-5B-Pose

Resolution-512

Resolution-768

Resolution-1024

CogVideoX-Fun-V1.1-2B

Resolution-768

CogVideoX-Fun-V1.1-2B-Pose

Resolution-512

Resolution-768

Resolution-1024

如何使用

  • 生成

a. 视频生成

i、运行python文件

步骤1：下载对应权重放入models文件夹。

步骤2：在predict t2v.py文件中修改prompt、neg prompt、guidance scale和seed。

步骤3：运行predict t2v.py文件，等待生成结果，结果保存在samples/cogvideox-fun-videos-t2v文件夹中。

步骤4：如果想结合自己训练的其他backbone与Lora，则看情况修改predict t2v.py中的predict t2v.py和lora path。

ii、通过ui界面

步骤1：下载对应权重放入models文件夹。

步骤2：运行app.py文件，进入gradio页面。

步骤3：根据页面选择生成模型，填入prompt、neg prompt、guidance scale和seed等，点击生成，等待生成结果，结果保存在sample文件夹中。

iii、通过comfyui

具体查看ComfyUI README。

  • 模型训练

一个完整的CogVideoX-Fun训练链路应该包括数据预处理和Video DiT训练。

a.数据预处理

我们给出了一个简单的demo通过图片数据训练lora模型，详情可以查看wiki。

一个完整的长视频切分、清洗、描述的数据预处理链路可以参考video caption部分的README进行。

如果期望训练一个文生图视频的生成模型，您需要以这种格式排列数据集。

json of internal datasets.json是一个标准的json文件。json中的file path可以被设置为相对路径，如下所示：

你也可以将路径设置为绝对路径：

b. Video DiT训练

如果数据预处理时，数据的格式为相对路径，则进入scripts/train.sh进行如下设置。

如果数据的格式为绝对路径，则进入scripts/train.sh进行如下设置。

最后运行scripts/train.sh。

关于一些参数的设置细节，可以查看Readme Train与Readme Lora

模型地址

V1.5:

名称 存储空间 Hugging Face Model Scope 描述

  • - -- -- -- --

CogVideoX-Fun-V1.5-5b-InP 20.0 GB 🤗Link 😄Link 官方的图生视频权重。支持多分辨率（512，768，1024）的视频预测，以85帧、每秒8帧进行训练

V1.1:

名称 存储空间 Hugging Face Model Scope 描述

  • - -- -- -- --

CogVideoX-Fun-V1.1-2b-InP 13.0 GB 🤗Link 😄Link 官方的图生视频权重。支持多分辨率（512，768，1024，1280）的视频预测，以49帧、每秒8帧进行训练

CogVideoX-Fun-V1.1-5b-InP 20.0 GB 🤗Link 😄Link 官方的图生视频权重。添加了Noise，运动幅度相比于V1.0更大。支持多分辨率（512，768，1024，1280）的视频预测，以49帧、每秒8帧进行训练

CogVideoX-Fun-V1.1-2b-Pose 13.0 GB 🤗Link 😄Link 官方的姿态控制生视频权重。支持多分辨率（512，768，1024，1280）的视频预测，以49帧、每秒8帧进行训练

CogVideoX-Fun-V1.1-2b-Control 13.0 GB 🤗Link 😄Link 官方的控制生视频权重。支持多分辨率（512，768，1024，1280）的视频预测，以49帧、每秒8帧进行训练。支持不同的控制条件，如Canny、Depth、Pose、MLSD等

CogVideoX-Fun-V1.1-5b-Pose 20.0 GB 🤗Link 😄Link 官方的姿态控制生视频权重。支持多分辨率（512，768，1024，1280）的视频预测，以49帧、每秒8帧进行训练

CogVideoX-Fun-V1.1-5b-Control 20.0 GB 🤗Link 😄Link 官方的控制生视频权重。支持多分辨率（512，768，1024，1280）的视频预测，以49帧、每秒8帧进行训练。支持不同的控制条件，如Canny、Depth、Pose、MLSD等

CogVideoX-Fun-V1.1-Reward-LoRAs - 🤗Link 😄Link 官方的奖励反向传播技术模型，优化CogVideoX-Fun-V1.1生成的视频，使其更好地符合人类偏好。

V1.0:

名称 存储空间 Hugging Face Model Scope 描述

  • - -- -- -- --

CogVideoX-Fun-2b-InP 13.0 GB 🤗Link 😄Link 官方的图生视频权重。支持多分辨率（512，768，1024，1280）的视频预测，以49帧、每秒8帧进行训练

CogVideoX-Fun-5b-InP 20.0 GB 🤗Link 😄Link 官方的图生视频权重。支持多分辨率（512，768，1024，1280）的视频预测，以49帧、每秒8帧进行训练

未来计划

支持中文。

参考文献

CogVideo: https://github.com/THUDM/CogVideo/

EasyAnimate: https://github.com/aigc-apps/EasyAnimate

许可证

本项目采用 Apache License (Version 2.0).

CogVideoX-2B 模型 (包括其对应的Transformers模块，VAE模块) 根据 Apache 2.0 协议 许可证发布。

CogVideoX-5B 模型（Transformer 模块）在CogVideoX许可证下发布.

优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。

你将获得什么

完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。

完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。

使用前须知

运行环境

运行模型需要的设备、工具与依赖，以原作者说明为准。

授权范围

是否允许商用、修改和分发，请查看模型许可证。

闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。

返回顶部