All systems operationalAI Agent Automation Platform
English
Language简体中文EnglishSelected

Choose your language

FantasyPortrait

amap_cvlab/FantasyPortrait

Publisheramap_cvlab

Download access requirementsModelScope source

license: Apache License 2.0 text-to-video-synthesis FantasyPortrait:基于表情增强扩散变换器的多角色肖像动画生成

Video Generation
Model details

模型介绍

中文整理

frameworks:

Pytorch

license: Apache License 2.0

tasks:

text-to-video-synthesis

FantasyPortrait:基于表情增强扩散变换器的多角色肖像动画生成

[](https://fantasy-amap.github.io/fantasy-portrait/)

[](https://arxiv.org/abs/2507.12956)

[](https://huggingface.co/datasets/acvlab/FantasyPortrait)

[](https://huggingface.co/papers/2507.12956)

🔥 最新动态!!

2025年8月10日:我们已发布推理代码、模型权重和数据集。

演示

更多有趣的结果,请访问我们的网站。

:---: :---:

Quick start

🛠️ 安?

克隆仓库:

安装依赖:

📦 Multi-Expr 数据集

我们公开了首个多人肖像面部表情视频数据集 **Multi-Expr Dataset**,请通过以下链接下载:

🧱 模型下载

模型 下载链接 说明

  • ------------- ------------------------------------------------------------------------------- -------------------------------

Wan2.1-I2V-14B-720P 🤗 Huggingface 🤖 ModelScope 基础模型

FantasyPortrait 🤗 Huggingface 🤖 ModelScope 我们的表情条件权重

使用 huggingface-cli 下载模型:

使用 modelscope-cli 下载模型:

🔑 单人肖像推理

🔑 多人肖像推理

📦 速度与显存占用

我们在此提供详细表格。模型在单张A100上进行测试。

torch dtype num persistent param in dit 速度 所需显存

  • - - -

torch.bfloat16 None (无限制) 15.5秒/迭代 40G

torch.bfloat16 7*10**9 (7B) 32.8秒/迭代 20G

torch.bfloat16 0 42.6秒/迭代 5G

🧩 社区贡献

我们 ❤️ 来自开源社区的贡献!如果您的工作改进了 FantasyPortrait,请告知我们。

您也可以直接发送邮件至 frank.jf@alibaba-inc.com。我们很乐意引用您的项目,方便大家使用。

🔗 引用

如果本仓库对您有帮助,请考虑给我们一个 star ⭐ 并引用以下论文:

致谢

感谢 Wan2.1、PD-FGC 和 DiffSynth-Studio 开源他们的模型和代码,为本项目提供了宝贵的参考和支持。我们非常感谢他们对开源社区的贡献。

优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。

你将获得什么

完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。

完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。

使用前须知

运行环境

运行模型需要的设备、工具与依赖,以原作者说明为准。

授权范围

是否允许商用、修改和分发,请查看模型许可证。

闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。

Back to top