[发明专利]一种基于注意力图神经网络的特征匹配方法

说明书

本发明给出一种基于注意力图神经网络的特征匹配方法。首先，特征点提取阶段使用简易形状生成器获得训练数据集，以自监督学习方式生成图像伪标签，获得基础特征点检测器，随后将真实图像集进行单应性变化，使得模型获得单应不变性；然后，引入自适应不变性描述符构建算法，利用NetVLAD神经网络对多类描述符进行聚集得到元描述符，再通过以VGG为大框架的孪生神经网络与特征点提取器进行并行训练；最后，引入注意力图神经网络AGNN以得到高鲁棒性的局部特征向量，再利用Sinkhorn最优匹配算法分配AGNN的损失权重，以提高特征匹配矩阵准确性。本发明将自适应不变性用于描述符中，并结合AGNN最优匹配层，可以实现对变化场景的高鲁棒性的特征匹配。

技术领域

本发明涉及图像处理技术，具体来讲，涉及一种基于注意力图神经网络的特征匹配方法，该方法结合自适应不变性描述符，构建鲁棒的特征匹配网络。

背景技术

视觉同时定位与地图构建(Visual Simultaneous Localization and Mapping,VSLAM)技术是机器人实现自主移动的关键技术，其中相邻帧的局部特征匹配起着至关重要的作用。相机的视觉位置识别一直是国内外计算机视觉领域的关注重点，特征点检测和描述符的匹配是解决许多计算机视觉问题的重要工具。尽管传统特征方法在计算机视觉领域得到了广泛的应用，但以数据作为驱动的深度学习的引入，使得计算机获得模型学习能力，并能够对真实环境变换具有更强的鲁棒性。

对特征点的检测和描述符构建的研究主要集中在寻找可以可靠估计其尺度、旋转和光照变化的独特位置，通常描述符中的各种不变性会一直保留且不具备针对不同变化场景随机应变的能力，这会造成在特定场景不变性的冗余。例如具有光照不变性的描述符在仅有视点变化的场景图像对下，其匹配效果不及仅有光照变换图像对的匹配效果，将自适应不变特性引入描述符构建环节，便能够使得描述符能够针对不同的变换场景选择不同的不变性。真实场景中存在大量环境干扰如遮挡等外在因素，会使得某些帧之间的局部特征匹配信息丢失，通过引入注意力图神经网络 (Attentional Graph Neural Network，AGNN)对帧间的局部特征信息进行多次迭代增强来规避这一问题，来回迭代的目的在于使得模型具有类人类的上下文检索来回观测能力。将深度神经网络的特征工程应用于视觉及时定位与三维重建VSLAM，实现深度学习与整个VSLAM体系的有效融合，是目前待解决同时也是以深度学习方式探究视觉及时定位与三维重建前端视觉里程计的研究重点。

发明内容

本发明的目的在于解决局部特征的匹配问题，提供同一地点但视点及光照发生变化的真实场景图像对，通过深度神经网络直接输出图像对局部特征匹配结果的方法，经所述方法可输出帧间的匹配结果，以准确确定相机运动位姿。

为了实现上述目的，本发明提供一种基于注意力图神经网络的特征匹配方法，即结合自适应不变性描述符与注意力图神经网络AGNN的局部特征匹配方法，其中主要包括五个部分，第一部分是预训练基础特征点检测器；第二部分是对真实场景标注单应性数据的训练；第三部分是自适应局部特征的联合训练；第四部分是注意力图神经网络AGNN最优匹配层的训练；第五部分是网络训练与测试，输出最终的帧间局部特征匹配结果。

第一部分包括两个步骤：

步骤1，通过python简易形状合成生成器文件调用OpenCV以设计建议图形如三角形、四边形、线条和棋盘等十类图像，并对每个图像进行单应性变化以增加样本的数量，其作为预训练基础特征点检测器的训练数据集；

步骤2，以自监督学习方式为未标记的简易形状图像生成伪标签，训练以获得拥有基础点检测能力的特征点检测器；

第二部分包括两个步骤：

步骤3，下载公开数据集MS-COCO2014，并将数据集进行随机的单应性变换；