模型介绍
中文整理frameworks:
Pytorch
license: Apache License 2.0
tasks:
text-to-video-synthesis
FantasyPortrait:基于表情增强扩散变换器的多角色肖像动画生成
[](https://fantasy-amap.github.io/fantasy-portrait/)
[](https://arxiv.org/abs/2507.12956)
[](https://huggingface.co/datasets/acvlab/FantasyPortrait)
[](https://huggingface.co/papers/2507.12956)
🔥 最新动态!!
2025年8月10日:我们已发布推理代码、模型权重和数据集。
演示
更多有趣的结果,请访问我们的网站。
:---: :---:
Quick start
🛠️ 安?
克隆仓库:
安装依赖:
📦 Multi-Expr 数据集
我们公开了首个多人肖像面部表情视频数据集 **Multi-Expr Dataset**,请通过以下链接下载:
🧱 模型下载
模型 下载链接 说明
- ------------- ------------------------------------------------------------------------------- -------------------------------
Wan2.1-I2V-14B-720P 🤗 Huggingface 🤖 ModelScope 基础模型
FantasyPortrait 🤗 Huggingface 🤖 ModelScope 我们的表情条件权重
使用 huggingface-cli 下载模型:
使用 modelscope-cli 下载模型:
🔑 单人肖像推理
🔑 多人肖像推理
📦 速度与显存占用
我们在此提供详细表格。模型在单张A100上进行测试。
torch dtype num persistent param in dit 速度 所需显存
- - - -
torch.bfloat16 None (无限制) 15.5秒/迭代 40G
torch.bfloat16 7*10**9 (7B) 32.8秒/迭代 20G
torch.bfloat16 0 42.6秒/迭代 5G
🧩 社区贡献
我们 ❤️ 来自开源社区的贡献!如果您的工作改进了 FantasyPortrait,请告知我们。
您也可以直接发送邮件至 frank.jf@alibaba-inc.com。我们很乐意引用您的项目,方便大家使用。
🔗 引用
如果本仓库对您有帮助,请考虑给我们一个 star ⭐ 并引用以下论文:
致谢
感谢 Wan2.1、PD-FGC 和 DiffSynth-Studio 开源他们的模型和代码,为本项目提供了宝贵的参考和支持。我们非常感谢他们对开源社区的贡献。
优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。
完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖,以原作者说明为准。
是否允许商用、修改和分发,请查看模型许可证。
闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。
Problem with the information or download?
Sign in to submit feedback.
