[发明专利]一种基于卷积循环编码-解码结构的多视影像三维重建方法

权利要求书

1.一种基于卷积循环编码-解码结构的多视影像三维重建方法，其特征在于，包括如下步骤：

步骤1，构建用于训练网络的多视航空影像数据库，数据库中包括多视航空影像、影像对应的内外方位元素，以及每张影像对应的真实深度图；

步骤2，构建多视密集匹配网络RED-Net，利用步骤1构建的数据库训练网络，学习影像匹配中的底层特征；

所述多视密集匹配网络RED-Net包括：特征检测部分，构建代价图部分，循环编码-解码规则化部分，计算损失函数值部分共四个部分；其中特征检测部分用于利用卷积神经网络分支提取遥感影像二维层面的特征，获得特征图；代价图构建部分用于将特征图投影至三维空间的特定深度平面上，将不同视角下的特征图融合为代价图；循环编码-解码规则化部分由循环编码-解码结构组成，包括4个卷积层和4个上卷积层，以及4个门控循环单元，用于对代价图进行规则化处理；计算损失函数值部分采用交叉熵损失值，当交叉熵损失值收敛时，网络模型训练完成；

所述循环编码-解码规则化部分包括卷积编码部分、卷积解码部分以及循环门控单元，其中卷积编码部分由四个卷积层组成，每个卷积层后紧接着一个修正线性单元，卷积核大小均为3×3，第一层步长为1，后三层的步长为2，特征通道数分别为8,16,32,64；解码部分由四个上卷积层组成，除最后一层外，每个上卷积层后紧接着一个修正线性单元，四个卷积层的卷积核大小均为3×3，步长为2，特征通道数分别为32,16,8,1；

卷积编码部分产生的4个尺度的特征图分别通过4个卷积门控循环单元进行正则化，其中，第4个卷积层产生的特征图在卷积门控循环单元规则化后通过解码部分第1个上卷积层进行上采样，第1,2,3个卷积层产生的特征图通过卷积门控循环单元规则化后，分别与解码部分第3,2,1个上卷积层产生的特征图相加，相加后的特征图作为下一个上卷积层的输入，通过解码部分后，得到通道数为1、上采样为原始影像大小的特征图；

其中4个尺度上的卷积门控循环单元共包括4个状态转换参量，记录当前时刻的代价图的信息并作为初值传递给下一时刻输入代价图的状态参量，用于记录代价图在深度方向上的上下文信息；步骤3，利用训练好的网络模型对真实的多视航空影像进行预测，得到参考影像视角下的预测深度图；

步骤4，根据提供的相机的内参和位置姿态参数，结合预测的深度图，利用已有的共线条件方程将影像中的每个像素点反投影至三维物方空间，得到点云构成的三维模型。

2.如权利要求1所述的一种基于卷积循环编码-解码结构的多视影像三维重建方法，其特征在于：步骤1的具体实现包括如下子步骤，

步骤1.1，选取多视影像数据；以一张航空影像为参考影像，与其航向相邻与旁向相邻的上下左右四张影像为源影像，这样的五张影像和对应的真实深度图以及空三解算后的相机参数、位姿参数作为一组五视数据单元，真实深度图由激光扫描获得，或利用高精度的地表三维模型通过虚拟投影的方式生成虚拟影像和对应的深度图；

步骤1.2，训练样本分割；在一组五视数据单元影像所共有的重叠区域内，将五张影像分别裁剪为M*N的样本数据，并用同样的方式将对应的深度图裁剪为同样大小的样本作为训练真值；

步骤1.3，构建训练样本库；选取一组裁剪为M*N像素大小的五视数据切片，与对应的五视切片深度图和相机参数文件构成一组五视训练样本，将多组多视航空影像数据分别裁剪为多组数据切片，构成训练样本库。

3.如权利要求1所述的一种基于卷积循环编码-解码结构的多视影像三维重建方法，其特征在于：所述特征检测部分对于N张输入影像设置了N个2D卷积神经元网络分支，每一分支包括5个卷积层，通道数分别为8,8,16,16,16；其中前四层均由卷积层和修正线性单元ReLU构成，第五层仅由卷积层构成；前两层的卷积核大小为3×3，卷积步长为1.第三层的卷积核大小为5×5，卷积步长为2，后两层的卷积核大小为3×3，步长为1，每个网络分支之间共享权重，最终特征检测部分对每一张输入影像得到16个通道的特征图，特征图的宽和高分别为输入原始影像的1/2。