模型介绍
中文整理Normal-Depth-Diffusion-Model（ND）介绍
文本生成法向和深度图的扩散模型：给定一个文本描述，通过设置不同的模型参数，可以返回：
- 单张场景的法向图和深度图
- 多张不同视角的物体法向图和深度图
同时提供了给定文本描述和深度图, 返回既符合文本描述而且由深度图控制的反照率贴图（Albedo）
模型描述
ND是通用的文本生成法向图和深度图的扩散模型。采用扩散模型的框架，先在大规模的LAION 2B1 20亿数据上进行预训练, 得到文本生成单张场景的法向图和深度图的模型，其中训练的法向图和深度图由Midas-3.12 和Normal-Bae3预测；然后在3D物体数据集Objaverse4 ，使用真实的多视角法向图和深度图训练，得到文本生成多张不同视角的物体法向图和深度图的模型；同时利用Objaverse，使用真实的多视角深度图和反照率图训练，得到文本和深度图共同控制生成反照率图的模型。
详见：RichDreamer: A Generalizable Normal-Depth Diffusion Model for Detail Richness in Text-to-3D
模型效果如下：
文本生成单张场景的法向图和深度图的模型效果
文本生成多张不同视角的物体的深度图和模型效果
文本和深度图共同控制生成反照率图的模型效果
期望模型使用方式以及适用范围
如何使用
按照normal-depth-diffusion仓库的部署说明，安装环境依赖，然后参考以下的代码范例使用
代码范例
训练数据介绍
LAION 2B: 包含23亿个经过CLIP5过滤的图像和英文文本对。详见：Laion-5b: An open large-scale dataset for training next generation image-text models
Ojaverse: 包含80万左右的3D模型。详见：Objaverse: A universe of annotated 3d objects.
模型训练流程
可以参考normal-depth-diffusion仓库的训练说明
相关论文以及引用信息
如果你觉得这个该模型对有所帮助，请考虑引用下面的相关的论文：
参考文献
[1] Schuhmann C, Beaumont R, Vencu R, et al. Laion-5b: An open large-scale dataset for training next generation image-text models[J]. Advances in Neural Information Processing Systems, 2022, 35: 25278-25294.
[2] Birkl R, Wofk D, Müller M. MiDaS v3. 1--A Model Zoo for Robust Monocular Relative Depth Estimation[J]. ar**v preprint ar**v:2307.14460, 2023.
[3] Gwangbin Bae, Ignas Budvytis, and Roberto Cipolla. Es- timating and exploiting the aleatoric uncertainty in surface normal estimation. In Proceedings of the IEEE/CVF Inter- national Conference on Computer Vision (ICCV), 2021. 2, 4, 8, 13.
[4] Gwangbin Bae, Ignas Budvytis, and Roberto Cipolla. Es- timating and exploiting the aleatoric uncertainty in surface normal estimation. In Proceedings of the IEEE/CVF Inter- national Conference on Computer Vision (ICCV), 2021. 2, 4, 8, 13.
[5] Radford A, Kim J W, Hallacy C, et al. Learning transferable visual models from natural language supervision[C]//International conference on machine learning. PMLR, 2021: 8748-8763.
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。