[发明专利]一种基于卷积循环编码-解码结构的多视影像三维重建方法

说明书

本发明公开了一种基于卷积循环编码‑解码结构的多视影像三维重建方法，包括如下步骤：构建用于训练网络的多视航空影像数据库，数据库中包括多视航空影像、影像对应的内外方位元素，以及每张影像对应的真实深度图；构建多视密集匹配网络RED‑Net，利用步骤1构建的训练数据库训练网络，学习影像匹配中的底层特征；利用训练完成后的网络对多视航空影像进行预测，得到参考影像视角下的预测深度图；根据提供的相机的内参和位置姿态参数，结合预测的深度图，将影像中的每个像素点反投影至三维物方空间，得到点云构成的三维模型。本发明具有如下优点：可用于从多视影像到深度图的端到端的密集匹配；可用于大尺度影像的匹配；可迁移性强、精度好、效率高。

技术领域

本发明涉及一种用于多视航空遥感影像的多视密集匹配的深度学习方法，可实现基于遥感影像的地形地物三维重建。

背景技术

从立体或多视航空航天遥感影像重建地面三维场景一直是摄影测量与遥感中的核心问题。从遥感影像中获取高精度的三维地形信息的一个核心关键问题是影像的密集匹配。密集匹配是一种由计算机代替人眼进行立体观察，自动获取影像中同名像点的视差值或深度值的过程。是由二维图像到三维场景转换过程中不可或缺的一部分。传统的多视密集匹配方法多是基于影像间的几何关系，通过复杂的几何运算得到，计算量大。例如基于面片的全局匹配算法是在全局范围内执行最优化，其计算量大，运行所需时间过长，对资源的消耗多，不适合实时的匹配操作。目前由多视航空影像进行大尺度、高精度的地表三维重建主要通过商用软件SURE、Smart3D等完成，这些软件均基于传统的密集匹配方法。

近年来逐渐发展并应用在各个方面的深度学习方法，节省了大量的时间消耗和人工特征提取的工作，引起了广泛的研究。一些基于深度学习的密集匹配方法如LSM、DeepMVS、MVSNet等被陆续提出。然而这些方法具有很大局限性，只能处理较小的影像或较小的深度范围，使得这些方法只能进行一些实验室内近景物体的重建，并不适合大尺度大范围(如城市级)地形表面的重建。因此针对多视航空遥感影像的快速、自动、高分辨率的多视密集匹配方法的研究至关重要。

发明内容

本发明针对现有技术的不足，提供了一种适合于大尺度高分辨率遥感影像多视匹配的深度神经网络。以多张不同视角下的遥感影像和相机参数作为输入，以深度图作为训练标签，得到神经元网络模型。利用该模型，输入新的多视影像时，可估计影像上每个点对应的深度和空间三维坐标，从而恢复三维场景。该网络可以使用模拟的多视匹配数据集进行自我训练，解决了缺乏与真实影像对应的完整且可靠的地面深度真值作为训练数据的问题。实现本发明目的采用的技术方案是，一种基于卷积循环编码-解码结构的多视影像三维重建方法，包括如下步骤：

步骤1，构建用于训练网络的多视航空影像数据库，数据库中包括多视航空影像、影像对应的内外方位元素，以及每张影像对应的真实深度图；

步骤2，构建多视密集匹配网络RED-Net，利用步骤1构建的数据库训练网络，学习影像匹配中的底层特征；

所述多视密集匹配网络RED-Net包括：特征检测部分，构建代价图部分，循环编码-解码规则化部分，计算损失函数值部分共四个部分；其中特征检测部分用于利用卷积神经网络分支提取遥感影像二维层面的特征，获得特征图；代价图构建部分用于将特征图投影至三维空间的特定深度平面上，将不同视角下的特征图融合为代价图；循环编码-解码规则化部分由循环编码-解码结构组成，包括4个卷积层和4个上卷积层，以及4个门控循环单元，用于对代价图进行规则化处理；计算损失函数值部分采用交叉熵损失值，当交叉熵损失值收敛时，网络模型训练完成；

步骤3，利用训练好的网络模型对真实的多视航空影像进行预测，得到参考影像视角下的预测深度图；

步骤4，根据提供的相机的内参和位置姿态参数，结合预测的深度图，利用已有的共线条件方程将影像中的每个像素点反投影至三维物方空间，得到点云构成的三维模型。

进一步的，步骤1的具体实现包括如下子步骤，