[发明专利]一种基于深度学习的三维场景重建方法

说明书

一种基于深度学习的三维场景重建方法，属于深度学习和机器视觉技术领域。通过卷积神经网络来估计场景的深度结构，并通过多视角方法对密集结构进行细化。具体通过训练一种全卷积残差神经网络来预测深度图，再基于从不同视角拍摄的彩色图像，利用对极几何和密集优化方法来优化深度图并估计相机的姿态；最后，将优化后的深度图投影到三维空间，并通过点云进行三维可视化。能够有效解决室外三维重建的问题，并提供高质量的点云输出结果；可在任意光照条件下使用；可克服单目方法无法估计物体实际尺寸的不足。

技术领域

本发明涉及一种基于深度学习的三维场景重建方法，特别涉及一种通过深度学习方法估计场景深度图，然后通过多视角方法优化深度图，并通过三维点云重建场景的三维重建方法，属于深度学习和机器视觉技术领域。

背景技术

在计算机视觉和计算机图形学中，三维重建是捕捉真实物体形状和外观的过程。这个过程可以通过主动或被动方法完成。

运动结构(Structure from Motion，SfM)或同时定位和映射(SimultaneousLocalization and Mapping，SLAM)被认为是一种重建场景的有效方式，因为它可以并行估计相机和场景几何结构的姿态，然而，如何获得深度图是解决三维场景重建的核心难题之一。近年来，Kinect等距离传感器所捕获的深度图在SLAM方法的研究中越来越受欢迎，因为它为识别结构信息提供了捷径。然而，由于距离传感器存在着局限性，即它们具有有限的工作范围，并且在强光条件下效果无法保证，这使得上述方法无法工作在室外环境中。

此外，深度信息也可以由单目摄像机拍摄的彩色图像的立体视角生成。这种方法首先通过使用图像块匹配技术匹配不同图像中的特定部分来重建，然后，使用对极几何或优化方法来计算相机的运动和场景的深度。由于单目相机的通用性，这些方法可以适应大多数环境，但它们有明显的局限性。首先，单目多视角方法无法估计真实世界的尺度。其次，当相机仅旋转而不进行平移时，不能估计深度信息。这两个限制是由几何约束产生，所以在不利用其他技术的情况下改进它们是非常困难的。

近年来，深度学习方法被认为是一种有前景的从单幅图像预测深度图的方法，并受到越来越多的关注。特别是，使用深度卷积神经网络(CNN)已经证明了通过预先训练的模型了解场景深度结构的潜力。这些方法主要集中在预测单幅图像与实际尺度的深度图上，但很少方法将深度神经网络的预测信息与多视角方法结合。在本发明中，我们提出了一种三维场景重建方法，其中我们通过卷积神经网络预测场景深度图，并通过多视角方法对密集结构进行细化。

发明内容

本发明的目的在于克服现有基于深度相机的三维场景重建方法存在无法在室外条件工作和基于单目相机的方法无法有效估计尺度信息的技术缺陷，提出了一种基于深度学习的三维场景重建方法。

本发明的核心思想是：通过训练一种预训练的全卷积神经网络来预测深度图，再根据从不同视角拍摄的彩色图像，利用对极几何和密集优化方法来优化深度图并估计相机的姿态；最后，将优化后的深度图投影到三维空间，并通过点云进行三维可视化。

本发明的目的是通过以下技术方案实现的：

步骤一：通过彩色相机拍摄图像；

步骤二：根据步骤一中拍摄的图像，通过预先训练过的卷积神经网络，估计场景的三维深度结构，得到二维深度图；

步骤2.1将输入的三通道图像转化为神经网络中可以使用的张量，即将图像数据由三维转化为4维；

步骤2.2将经步骤2.1转化后得到的张量输入神经网络，神经网络通过该张量预测图像中场景的三维深度结构；

其中，神经网络采用全卷积神经网络结构，即其中只包含卷积层和反卷积层；常见的卷积神经网络中往往包含全连接层、池化层和卷积层；