[发明专利]一种基于稀疏特征匹配点对的相机相对定向深度学习方法

说明书

本发明涉及深度学习技术领域，尤其涉及一种基于稀疏特征匹配点对的相机相对定向深度学习方法，首先通过匹配点对分类网络将匹配点对分为内点和外点，然后以所有的内点为相机相对位姿参数解算网络的输入，将输入的每对匹配点坐标看作图节点，将输入的所有匹配点对当作图结构数据，使用自注意力机制在图结构上提取匹配点对全局影像关系特征，并通过残差网络进一步提炼影像关系特征，以匹配点对为输入通过自注意力机制在图结构上的全局影像关系特征学习，解决了现有深度学习方法基于像素语义特征来进行相对定向的处理数据量大、模型结构复杂问题。

技术领域

本发明涉及深度学习技术领域，尤其涉及一种基于稀疏特征匹配点对的相机相对定向深度学习方法。

背景技术

相机相对定向技术根据两张图像恢复拍摄两张图像时相机的相对位姿参数，根据连续场景中两两相机的相对定向，将所有相机位姿都统一到同一坐标系中，则可得到相机的绝对定向。它是基于运动恢复结构(SfM)三维重建算法中的关键步骤，在同步定位与建图(SLAM)中，相机相对位姿的精度对视觉里程计的定位精度起着决定性的作用。现有的相机相对定向方法主要分为两类，第一类是基于传统摄影测量中相对定向理论解算；第二类是基于深度学习算法的相对定向参数估计。

传统相对定向算法首先基于稀疏特征匹配算法(例：SIFT、SURF等)获得两影像之间的稀疏特征匹配点对；然后基于五点算法或八点算法构建方程组求解影像间基础矩阵，并剔除内参影响得到本质矩阵；然后对本质矩阵进行分解得到旋转矩阵和平移向量。但在求解过程中由于无法得到绝对准确的匹配点对，往往需要借助随机采样一致性算法(RANSAC)来获得更准确匹配结果，所以该方法需要反复迭代计算，计算量大、非常耗时。近年来也有学者提出改进的非线性优化算法来减小误匹配点的干扰，能提高影像间位姿参数精度，但是这些算法大多基于分支定界法(branch andbound)来实现，也需要反复迭代搜索，也存在耗时较长的问题。

基于深度学习算法的相对位姿参数估计算法，2017年，Iaroslav Melekhov等人以左右影像为输入基于卷积神经网络设计了相对位姿参数估计深度学习模型，该网络通过两个全连接分支分别输出相对旋转与平移参数。在视觉导航中一些研究者将图像对作为输入，通过深度学习网络直接估计相机相对姿态，这些方法用于处理单目视频序列，进行单目深度估计以及帧间运动的估计。由于这些方法没有显式地利用图像对之间的几何关系作为约束，而是基于左、右影像中各像素语义特征来获得位姿参数，因此这些方法估计的相机相对姿态精度不高，另外由于输入的是图像而非匹配点对，因此网络结构设计比较复杂，计算量也较大。

发明内容

本发明的目的在于公开一种基于稀疏特征匹配点对的相机相对定向深度学习方法，其中的相对定向方法与传统算法相比速度大幅提高同时具有更小的误差，与现有基于像素语义特征深度学习算法相比平均精度更高，处理的数据量更少、具有更轻量化的网络结构。

为实现上述目的，本发明提出了一种基于稀疏特征匹配点对的相机相对定向深度学习方法，包括下列步骤：

获取同一场景不同视角下拍摄的两幅影像；

通过稀疏特征匹配模块后得到匹配点集；

通过匹配点对分类网络将匹配点集对分为内点集和外点集；

相机相对位姿参数解算网络根据所有内点集通过深度学习网络解释输出相对旋转、平移位姿参数。

其中，所述匹配点对分类网络基于OANet网络改造形成，网络输出的各匹配点对准确性值S经过tanh和ReLU函数处理，范围变换到[0,1)之间，将变换后的准确性值与阈值进行比较，小于阈值的认为是误匹配点，大于等于阈值的认为是正确匹配点。

其中，所述内点集为匹配误差小的相对准确匹配点的数据集合，所述外点集为匹配误差大的错误匹配点的数据集合。