[发明专利]一种基于深度学习的可见光多视图像三维重建方法

说明书

本发明基于MVSNet网络进行改进，提出一种基于深度学习的可见光多视图像三维重建方法。将网络中的批归一化层和非线性激活函数层替换为融合的Inplace‑ABN层，降低了显存的占用量。设计基于分组相似性的加权均值度量法对代价体的特征维度进行降维，获得了更加轻量级的代价体，压缩了网络参数，降低了计算量与显存消耗。针对MVSNet网络使用低尺度特征图导致深度图分辨率低于输入图像的问题，利用特征金字塔模块提取多尺度的特征图，并设计了分阶段、多尺度的迭代优化深度估计。在保证精度的前提下，通过多轮深度迭代，降低了代价体深度平面的平均数量，使代价体获得更高的空间分辨率，提高了深度图估计的准确度。最后对输出深度图进行过滤与融合完成场景三维重建任务。

技术领域

本发明属于计算机图像处理领域，是基于深度学习的方法来对可见光多视图像进行三维重建，输出三维点云。

背景技术

作为一种对现实世界场景进行精细还原的技术，三维重建在人们的日常生活与生产工作中发挥着重要作用。三维重建中深度的概念，是指一张图像上，成像像素对应的空间三维点与相机焦点的投影距离。深度图则是记录一张图像上所有像素点深度信息的数据格式，根据图像对应的深度图，可以将图像中的像素还原到三维空间中，得到一小片点云。拥有足够多的图像与足够多的深度图，便可以得到足够稠密的点云。MVSNet是较为经典的基于深度学习的MVS方法，它沿袭了平面扫描法的思路，其主要优势是其通过卷积神经网络进行特征的抽取，基于此构建的高维代价体保留了高维的空间结构语义信息，并采用3D CNN将代价体进行了正则化处理，这种方法的运算速度相较传统方法要快许多，并且对低纹理区域具备较好的处理效果，但也存在一些明显的缺点。MVSNet摒弃像素图改用了特征图来进行深度估计，它使用VGG结构的特征提取网络，使用多层卷积不断降低尺寸来提取不同层级的图像特征，网络进行了两次下采样，将特征图分辨率降为了原始图像的1/16，由此构建的代价体宽、高仅有原始图像的1/4。由于深度图的宽高是与代价体的宽高相等的，最终预测出的深度图面积仅有参考图像的1/16，再加上卷积操作的影响，目标物体的边缘会过于平滑。为了解决深度图分辨率下降和边缘平滑的问题，MVSNet采用了额外的2D CNN上采样模块，对H/4×W/4的初始深度图进行细化上采样，这个过程结合了原始图像内包含的边缘特征进行插值，最终得到H×W的全尺寸深度图。由于这个过程是在二维层级上对初始深度图进行的，对代价体所包含三维高级语义信息并没有得到有效的利用。

发明内容

为了克服上述现有技术的不足，本发明公开了一种基于深度学习的特征点检测匹配方法。本发明基于MVSNet网络进行改进，提出一种基于深度学习的可见光多视图像三维重建方法。将网络中的批归一化层和非线性激活函数层替换为融合的Inplace-ABN层，降低了显存的占用量。设计基于分组相似性的加权均值度量法对代价体的特征维度进行降维，获得了更加轻量级的代价体，压缩了网络参数，降低了计算量与显存消耗。针对MVSNet网络使用低尺度特征图导致深度图分辨率低于输入图像的问题，利用特征金字塔模块提取多尺度的特征图，并设计了分阶段、多尺度的迭代优化深度估计。在保证精度的前提下，通过多轮深度迭代，降低了代价体深度平面的平均数量，使代价体获得更高的空间分辨率，提高了深度图估计的准确度。最后对输出的深度图进行过滤与融合完成场景三维重建任务。

本发明采用的技术路线如下：

一种基于深度学习的多视图像三维重建方法，所述重建方法包括以下步骤：

步骤1：对待预测场景的图像组进行增量式SfM，计算得到各图像的相机参数和待预测场景的稀疏点云；

步骤1.1：使用COLMAP程序读入待预测场景的图像组，进行增量式的运动恢复结构算法，计算得到每张图像的相机参数和待预测场景的稀疏点云。

步骤2：设计基于MVSNet的改进深度估计网络，将待预测场景输入网络进行计算，得到每张图像对应的深度图、概率图；