模型介绍
中文整理级联结构的多视图深度估计 介绍
任务：输入一堆已知相机位姿的图片，预测每张图的深度图以及深度图融合，输出融合后的点云
模型描述
提出了一种节省显存和同时提升精度的cascaded cost volume。
多阶段的预测方式，通过前一阶段预测的深度值来缩小当前阶段的采样深度范围，能够建立离散采样值更少的cost volume，从而达到节省显存的目的。
通过这种方式，可以建立空间分辨率更高的cost volume，恢复出高分辨的深度图，提升精度。
该模型在DTU数据集上进行训练，可以用于multi-view stereo任务中。
期望模型使用方式以及适用范围
本模型主要用于多视图深度估计。用户可以自行尝试各种输入的模型效果。具体调用方式请参考代码示例
如何使用
在ModelScope里可以比较方便的使用
注意点：
目前只支持在GPU模式下使用
代码范例
注意点：
- 输入必须是文件夹，包含 images 和 sparse 两个子文件夹， images文件夹里面存放图片， sparse文件夹里面存放稀疏重建的结果(COLMAP格式)。可参考上述代码示例中的test data (存放在本仓库中test data文件夹)
- images 和 sparse文件夹，可以通过开源软件COLMAP生成，示例代码如下：
把**DATASET PATH/dense**下面的 **images** 和 **sparse** 文件夹拿出来，再调用本接口，这里的**images** 和 **sparse** 两文件夹是存放undistort后的图片和稀疏重建结果，效果更好
模型局限性以及可能的偏差
该模型在DTU数据集上训练，有可能产生一些偏差，请用户自行评测后决定如何使用。
训练数据介绍
DTU是一个MVS数据集，由124个不同的场景组成，在7种不同的光照条件下在49或64个位置扫描，提供了图片、相应的相机位姿以及深度图。
模型训练流程
暂时不支持通过ModelScope接口进行训练，敬请期待。
数据评估及结果
Results on DTU
Acc. Comp. Overall.
- ------- -------- ----------
- 325 0.385 0.355
Results on Tanks and Temples benchmark
Mean Family Francis Horse Lighthouse M60 Panther Playground Train
- ------- -------- --------- -------- ------------ -------- --------- ------------ -------
- 42 76.36 58.45 46.20 55.53 56.11 54.02 58.17 46.56
相关论文以及引用信息
如果你觉得这个该模型对有所帮助，请考虑引用下面的相关的论文：
该项目中一些代码来自于：MVSNet pytorch和MVSNet，非常感谢他们开源了相关的工作。
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。