模型介绍
中文整理HRN人脸重建模型
论文 项目主页 github
人脸重建模型以单张人像图作为输入，利用层次化表征实现快速人脸几何、纹理恢复，输出高精度3D人脸重建mesh，相关论文HRN已被CVPR2023接收。
三维视觉系列模型
[](https://www.modelscope.cn/models/damo/cv HRN head-reconstruction/summary) [](https://modelscope.cn/models/damo/cv HRN text-to-head/summary)
:--: :--:
HRN头部重建 文本生成3D头部
demo使用
可在界面右侧在线体验模块进行一键试用，需要注意的是：
请输入包含人脸的图像（最好是单个人脸，模型暂无法识别主要人脸），非人脸图像可能会报错 "list index out of range"。
页面无法支持displacement map的渲染，因此只能展示重建纹理及中频细节，可利用下方代码范例导出高频细节的展示结果。
初次使用等待时间可能较长（模型初始化、排队、网络传输等因素），需要一分钟左右，请耐心等待。
如果渲染结果脸部有大量白点（非modelscope水印），可能与chrome浏览器版本有关，请升级到最新版后进行试用。
模型描述
在该模型中，我们提出了一种新颖的层次化表征网络 (HRN)，以实现单图的高精细人脸重建。 具体来说，我们将人脸几何拆解为低频部分、中频细节以及高频细节三个部分，并引入了层次化表征分别对其进行建模（如下图），从而实现精细的人脸建模。
本模型在原始HRN的基础上做了少许改动，以提升效果和鲁棒性：
引入valid mask，缓解头发等遮挡带来的干扰。
重新实现了texture map的生成以及re-align，速度更快。
引入两个可训练参数α、β，提升模型训练初期的稳定性。
期望模型使用方式以及适用范围
使用方式：
支持GPU推理，在任意真实人脸图像上进行直接推理。
推理时间：
模型的纯推理时间小于1秒，pipeline中集成了较多的可视化，总体时间大概为5~10秒。
使用范围:
适用于包含人脸的人像照片，其中人脸分辨率大于100x100，图像整体分辨率小于5000x5000。
正脸或小角度侧脸图像，脸部区域无遮挡。
目标场景:
影视、娱乐、医美等。
如何使用
本模型基于pytorch进行训练和推理，在ModelScope框架上，提供输入图片，即可以通过简单的Pipeline调用来使用人脸重建模型。
环境安装
安装好基础modelscope环境后，安装nvdiffrast
安装nvdiffrast
git clone https://github.com/NVlabs/nvdiffrast.git
cd nvdiffrast
pip install .
安装nvdiffrast所需依赖（opengl等）
apt-get install freeglut3-dev
apt-get install binutils-gold g++ cmake libglew-dev mesa-common-dev build-essential libglew1.5-dev libglm-dev
apt-get install mesa-utils
apt-get install libegl1-mesa-dev
apt-get install libgles2-mesa-dev
apt-get install libnvidia-gl-525
pip install 'numpy
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。