[发明专利]一种基于多任务学习算法的三维重建及相机位姿估计方法

权利要求书

1.一种基于多任务学习算法的三维重建及相机位姿估计方法，其特征在于通过搭建一个基于端到端多任务深度学习算法、具有多输入多输出功能的人工神经网络实现的，主要流程如下：

步骤1.搭建一个多输入多输出的人工神经网络，通过输入多个视图的图像，估计对应视图的深度图、不同视图之间的相机运动参数、相机位姿变换参数以及不同视图之间的像素和区域匹配；

步骤2.基于已有的图像或视频数据，对步骤1中搭建的所述人工神经网络模型进行训练；

步骤3.将步骤2中训练的人工神经网络模型部署使用，估计各个视图的深度图与不同视图变换时相机位姿的变化，并根据各深度图计算对应视图坐标系下的三维点云；

步骤4.计算全局坐标下相机位姿，将步骤3中得到的各个视图坐标系下的三维点云拼接，然后结合对应图像像素的光度色彩信息实现三维重建；

所述的人工神经网络中包含有特征提取及处理模块(1)和特征匹配模块(2)，其中：

所述特征提取及处理模块(1)采用卷积神经网络，用于提取和处理具有空间不变性的特征和相对位置信息并估计稠密深度，其中包括多个并行的分支神经网络，分别对应各个输入的视图图像，并由这些分支神经网络提取输入图像中对应的像素和区域的特征向量、组成特征图，从而通过学习特征向量的映射、输出该视图对应的深度图；

所述特征匹配模块(2)具有输入由所述特征提取及处理模块(1)从各个视图提取的若干个特征图，并对其中任意两个视图所提取特征图上每一区域及像素对应的特征向量进行匹配与加权融合的功能，采用基于注意力机制的网络，与特征提取及处理模块(1)并行，用于查找同一视图内长距离、多视图之间像素及区域的对应关系；

通过结合所述的特征提取及处理模块(1)得到的每个像素及区域的深度信息，与所述的特征匹配模块(2)得到的不同视图间的像素及区域匹配关系，便估计得到不同视图间对应的相机运动参数。

2.根据权利要求1所述的一种基于多任务学习算法的三维重建及相机位姿估计方法，其特征在于所述的人工神经网络模型的不同分支参数可供任意视图共享，从而使视图数量在同一组模型参数训练和使用中可以按需调整，并降低网络大小。

3.根据权利要求1所述的一种基于多任务学习算法的三维重建及相机位姿估计方法，其特征在于在所述的特征匹配模块(2)中任意一组特征图的特征匹配使用其他若干组特征图已计算的特征匹配结果，用以限定该匹配过程的搜索范围和融合不同特征空间内的特征匹配关系，其中所述的特征匹配结果是两图之间非参数化的位移场、光流图、相似度矩阵、单应性变换、刚体变换、相似变换、仿射变换和透视变换的参数化对应关系。

4.根据权利要求1所述的一种基于多任务学习算法的三维重建及相机位姿估计方法，其特征在于所述的特征匹配模块(2)通过人工神经网络学习的映射变换，对任意两视图作为一组进行匹配后的特征向量进行映射，得到从其中一个视图到另外一个视图的特征空间变换。

5.根据权利要求1所述的一种基于多任务学习算法的三维重建及相机位姿估计方法，其特征在于基于所述人工神经网络输出的物理及数学意义的合理性及视图之间的约束关系构建损失函数，并在所述的人工神经网络的训练和部署使用过程中进行自监督学习训练。

6.根据权利要求5所述的一种基于多任务学习算法的三维重建及相机位姿估计方法，其特征在于所述的损失函数包括：1)同一种输出量的自洽性损失项，根据同一种输出量在多个视图之间投影物体保持一致而设计的损失函数，相机运动对应的坐标系映射或其中视野重合部分特征点的匹配映射可逆，且一系列视图之间映射组成的复合映射与映射路径无关，以及通过像素和区域匹配重建图像与被映射视图原图像相似；2)不同种类的输出量之间的兼容性损失项，根据不同输出量在同一组输入视图中应当满足对应约束关系，通过对极线约束像素匹配映射与相机运动外参的“匹配-运动”兼容损失函数，以及两张视图间的相机运动参数对图像和深度的重投影与原图的相似度约束的“运动-深度”兼容性损失函数；3)输出量的合理性损失项，通过输出量的合理性而设计的损失项或正则项，深度图和匹配矩阵的光滑和连续程度，以及运动参数中旋转矩阵的标准正交约束。