模型介绍
中文整理frameworks:
Pytorch
license: Apache License 2.0
tasks:
motion-generation
中文阅读
FantasyTalking: Realistic Talking Portrait Generation via Coherent Motion Synthesis
[](https://fantasy-amap.github.io/fantasy-talking/)
[](https://arxiv.org/abs/2504.04842)
[](https://huggingface.co/papers/2504.04842)
🔥 Latest News!!
2025年4月28日: 开源了音频条件下的推理代码和模型权重。
快速开始
🛠️安装和依赖
首先克隆git仓库：
安装依赖：
🧱模型下载
模型 下载链接 备注
- ------------- ------------------------------------------------------------------------------- -------------------------------
Wan2.1-I2V-14B-720P 🤗 Huggingface 🤖 ModelScope 基础模型
Wav2Vec 🤗 Huggingface 🤖 ModelScope 音频编码器
FantasyTalking model 🤗 Huggingface 🤖 ModelScope 我们的音频条件权重
使用huggingface-cli下载模型：
使用modelscope-cli下载模型：
🔑 推理
您可以通过提示控制角色的行为。提示和音频配置的推荐范围是[3-7]。
我们在此处提供了一个详细的表格。该模型在单个A100上进行了测试。(512x512，81帧)
torch dtype num persistent param in dit Speed Required VRAM
- - - -
torch.bfloat16 None (unlimited) 15.5s/it 40G
torch.bfloat16 7*10**9 (7B) 32.8s/it 20G
torch.bfloat16 0 42.6s/it 5G
Gradio 示例
我们构建了一个Huggingface在线演示。
对于本地的gradio演示，您可以运行：
🧩 社区工作
我们❤️喜欢来自开源社区的贡献！如果你的工作改进了FantasyTalking，请告诉我们。
🔗Citation
If you find this repository useful, please consider giving a star ⭐ and citation
致谢
感谢Wan2.1、HunyuanVideo和DiffSynth-Studio开源他们的模型和代码，为该项目提供了宝贵的参考和支持。他们对开源社区的贡献真正值得赞赏。
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。