All systems operationalAI Agent Automation Platform
DownloadHelpBecome a provider
English
Language简体中文EnglishSelected

Choose your language

Sign up

Wan2.2-Fun-A14B-Control-Camera

PAI/Wan2.2-Fun-A14B-Control-Camera

PublisherPAI

Download access requirementsModelScope source

[](https://huggingface.co/spaces/alibaba-pai/Wan2.1-Fun-1.3B-InP) [](https://github.com/aigc-apps/VideoX-Fun) 名称 存储空间 Hugging Face Model Scope 描述

Video Generation
View all download instructionsMirror repository documentation and license ↗
Model details

模型介绍

中文整理

Wan-Fun

😊 Welcome!

[](https://huggingface.co/spaces/alibaba-pai/Wan2.1-Fun-1.3B-InP)

[](https://github.com/aigc-apps/VideoX-Fun)

English 简体中文

目录

目录

模型地址

视频作品

快速启动

如何使用

参考文献

License

模型地址

名称 存储空间 Hugging Face Model Scope 描述

  • - -- -- -- --

Wan2.2-Fun-A14B-InP 64.0 GB 🤗Link 😄Link Wan2.2-Fun-14B文图生视频权重，以多分辨率训练，支持首尾图预测。

Wan2.2-Fun-A14B-Control 64.0 GB 🤗Link 😄Link Wan2.2-Fun-14B视频控制权重，支持不同的控制条件，如Canny、Depth、Pose、MLSD等，同时支持使用轨迹控制。支持多分辨率（512，768，1024）的视频预测，支持多分辨率（512，768，1024）的视频预测，以81帧、每秒16帧进行训练，支持多语言预测

Wan2.2-Fun-A14B-Control-Camera 64.0 GB 🤗Link 😄Link Wan2.2-Fun-14B相机镜头控制权重。支持多分辨率（512，768，1024）的视频预测，支持多分辨率（512，768，1024）的视频预测，以81帧、每秒16帧进行训练，支持多语言预测

视频作品

Wan2.2-Fun-A14B-InP

Wan2.2-Fun-A14B-Control

Generic Control Video + Reference Image:

Reference Image

Control Video

Wan2.2-Fun-14B-Control

Generic Control Video (Canny, Pose, Depth, etc.) and Trajectory Control:

Wan2.2-Fun-A14B-Control-Camera

Pan Up

Pan Left

Pan Right

Zoom In

Pan Down

Pan Up + Pan Left

Pan Up + Pan Right

Zoom Out

快速启动

  • 云使用: AliyunDSW/Docker

a. 通过阿里云 DSW

DSW 有免费 GPU 时间，用户可申请一次，申请后3个月内有效。

阿里云在Freetier提供免费GPU时间，获取并在阿里云PAI-DSW中使用，5分钟内即可启动CogVideoX-Fun。

[](https://gallery.pai-ml.com/#/preview/deepLearning/cv/cogvideox fun)

b. 通过ComfyUI

我们的ComfyUI界面如下，具体查看ComfyUI README。

c. 通过docker

使用docker的情况下，请保证机器中已经正确安装显卡驱动与CUDA环境，然后以此执行以下命令：

  • 本地安装: 环境检查/下载/安装

a. 环境检查

我们已验证该库可在以下环境中执行：

Windows 的详细信息：

操作系统 Windows 10

python: python3.10 & python3.11

pytorch: torch2.2.0

CUDA: 11.8 & 12.1

CUDNN: 8+

GPU： Nvidia-3060 12G & Nvidia-3090 24G

Linux 的详细信息：

操作系统 Ubuntu 20.04, CentOS

python: python3.10 & python3.11

pytorch: torch2.2.0

CUDA: 11.8 & 12.1

CUDNN: 8+

GPU：Nvidia-V100 16G & Nvidia-A10 24G & Nvidia-A100 40G & Nvidia-A100 80G

我们需要大约 60GB 的可用磁盘空间，请检查！

b. 权重放置

我们最好将权重按照指定路径进行放置：

通过comfyui**：

将模型放入Comfyui的权重文件夹 ComfyUI/models/Fun Models/ ：

运行自身的python文件或ui界面**:

如何使用

  • 生成

a、显存节省方案

由于Wan2.2的参数非常大，我们需要考虑显存节省方案，以节省显存适应消费级显卡。我们给每个预测文件都提供了GPU memory mode，可以在model cpu offload，model cpu offload and qfloat8，sequential cpu offload中进行选择。该方案同样适用于CogVideoX-Fun的生成。

model cpu offload代表整个模型在使用后会进入cpu，可以节省部分显存。

model cpu offload and qfloat8代表整个模型在使用后会进入cpu，并且对transformer模型进行了float8的量化，可以节省更多的显存。

sequential cpu offload代表模型的每一层在使用后会进入cpu，速度较慢，节省大量显存。

qfloat8会部分降低模型的性能，但可以节省更多的显存。如果显存足够，推荐使用model cpu offload。

b、通过comfyui

具体查看ComfyUI README。

c、运行python文件

步骤1：下载对应权重放入models文件夹。

步骤2：根据不同的权重与预测目标使用不同的文件进行预测。当前该库支持CogVideoX-Fun、Wan2.1、Wan2.1-Fun、Wan2.2，在examples文件夹下用文件夹名以区分，不同模型支持的功能不同，请视具体情况予以区分。以CogVideoX-Fun为例。

  • 文生视频：
  • 使用examples/cogvideox fun/predict t2v.py文件中修改prompt、neg prompt、guidance scale和seed。
  • 而后运行examples/cogvideox fun/predict t2v.py文件，等待生成结果，结果保存在samples/cogvideox-fun-videos文件夹中。
  • 图生视频：
  • 使用examples/cogvideox fun/predict i2v.py文件中修改validation image start、validation image end、prompt、neg prompt、guidance scale和seed。
  • validation image start是视频的开始图片，validation image end是视频的结尾图片。
  • 而后运行examples/cogvideox fun/predict i2v.py文件，等待生成结果，结果保存在samples/cogvideox-fun-videos i2v文件夹中。
  • 视频生视频：
  • 使用examples/cogvideox fun/predict v2v.py文件中修改validation video、validation image end、prompt、neg prompt、guidance scale和seed。
  • validation video是视频生视频的参考视频。您可以使用以下视频运行演示：演示视频
  • 而后运行examples/cogvideox fun/predict v2v.py文件，等待生成结果，结果保存在samples/cogvideox-fun-videos v2v文件夹中。
  • 普通控制生视频（Canny、Pose、Depth等）：
  • 使用examples/cogvideox fun/predict v2v control.py文件中修改control video、validation image end、prompt、neg prompt、guidance scale和seed。
  • control video是控制生视频的控制视频，是使用Canny、Pose、Depth等算子提取后的视频。您可以使用以下视频运行演示：演示视频
  • 而后运行examples/cogvideox fun/predict v2v control.py文件，等待生成结果，结果保存在samples/cogvideox-fun-videos v2v control文件夹中。

步骤3：如果想结合自己训练的其他backbone与Lora，则看情况修改examples/{model name}/predict t2v.py中的examples/{model name}/predict i2v.py和lora path。

d、通过ui界面

webui支持文生视频、图生视频、视频生视频和普通控制生视频（Canny、Pose、Depth等）。在examples文件夹下用文件夹名以区分，不同模型支持的功能不同，请视具体情况予以区分。以CogVideoX-Fun为例。

步骤1：下载对应权重放入models文件夹。

步骤2：运行examples/cogvideox fun/app.py文件，进入gradio页面。

步骤3：根据页面选择生成模型，填入prompt、neg prompt、guidance scale和seed等，点击生成，等待生成结果，结果保存在sample文件夹中。

参考文献

CogVideo: https://github.com/THUDM/CogVideo/

EasyAnimate: https://github.com/aigc-apps/EasyAnimate

Wan2.1: https://github.com/Wan-Video/Wan2.1/

Wan2.1: https://github.com/Wan-Video/Wan2.2/

ComfyUI-KJNodes: https://github.com/kijai/ComfyUI-KJNodes

ComfyUI-EasyAnimateWrapper: https://github.com/kijai/ComfyUI-EasyAnimateWrapper

ComfyUI-CameraCtrl-Wrapper: https://github.com/chaojie/ComfyUI-CameraCtrl-Wrapper

CameraCtrl: https://github.com/hehao13/CameraCtrl

License

本项目采用 Apache License (Version 2.0).

优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。

你将获得什么

完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。

完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。

使用前须知

运行环境

运行模型需要的设备、工具与依赖，以原作者说明为准。

授权范围

是否允许商用、修改和分发，请查看模型许可证。

闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。

Back to top