[发明专利]一种基于深度学习的图像匹配方法

说明书

本发明涉及一种基于深度学习的图像匹配方法，是通过搭建一个包括特征提取模块、特征融合模块和特征匹配模块的深度学习模型，融合其中的不同分辨率特征得到高分辨率的融合特征图，结合带有空间间隔连接结构的神经网络层模型的精细化匹配与重采样迭代，实现在不增加计算复杂度情况下增加匹配的搜索范围，并基于按需设定的损失函数对学习模型参数进行优化，最终输出优化后的模型参数及其匹配结果。由于保留了匹配过程中高分辨率像素的自由度，故更易得到存在尺度变换物体的像素对应关系，从而确保每一个所估计的像素对应关系的可靠性，既可辅助不同层数中像素对应关系的融合，也可基于邻域的匹配结果对未能正确找到对应关系的像素插值或调整。

技术领域

本发明涉及图像数据处理技术领域，特别是一种基于深度学习的图像匹配方法。

背景技术

近些年来，随着科技水平的日益提高，各个产业自动化智能化的格局日趋形成，随之而来的人工智能技术蓬勃发展，其主要目的是令机器联合计算机像人类一样感知、理解与行动。其中视觉感知作为最主要的感知技术之一，在此次人工智能热潮下占据着举足轻重、推动着计算机视觉技术迅猛发展的重要地位。同时，如何理解多个视觉目标之间的区别与联系，并根据特定的需求对感知的信息作相应的处理已然成为整个计算机视觉领域的研究热点之一，而图像匹配作为其中的一个基础而关键的任务，连接着具有相同或相似属性的两个图像目标，是低层视觉通往高层视觉的纽带，是实现信息识别与整合以及从低维图像恢复高维结构的有效途径。

图像匹配是一项基础的视觉处理技术，对图像的每个像素或区域进行特征提取，并查找对应关系，是众多视觉任务的首要步骤，如图像检索(ImageRetrieval)、图像拼接(Image Mosaic)、多模图像融合(Multimodal Image Fusion)、图像配准(ImageRegistration)、相机位姿估计(Camera Pose Estimation)、视觉里程计(VisualOdometry)、三维重建(3D Reconstruction)、运动恢复结构(Structure from Motion)、即时定位与地图构建(Simultaneous Localization and Mapping)等。据美国自动成像协会(Automated Imaging Association)统计，40％以上的视觉感知应用依赖于图像特征匹配的精度与效率，包括计算机视觉、模式识别、遥感、军事安防、医学诊断与手术导航等各个领域。

图像匹配的误差会在后续处理环节中逐渐累积从而严重制约最终视觉任务的有效实施，因此在许多基于匹配的精准估计应用上有着极高的要求。通常，模板图像来自不同时间、不同视角和不同传感器，成像条件的多样性不可避免地会造成图像的匹配难度，况且图像本身的局部形变或畸变，以及图像之间的复杂变换等因素同样会对特征匹配问题造成严重阻碍。除此之外，如何减少因噪声、畸变、重复图像内容以及遮挡等问题造成的错误匹配也是特征匹配中亟需解决的问题。此外，图像匹配的稠密度也会直接影响后续视觉任务，如基于立体匹配的三维重建中的结构细节，而图像特征匹配问题，本质上是一个复杂组合优化难题，稠密特征点的匹配过程通常需要特征数量的平方计算复杂度，况且离群点和噪声的引入将大大增加问题的求解难度，因而在建模求解过程中，如何减少解的搜索空间，降低问题的计算复杂度也是特征匹配的重要难题。

图像匹配方法包括图像特征提取及特征匹配，其中传统特征匹配方法如随机样本一致性(RanSaC)算法需要迭代运算，而在稠密特征点情况时会严重增加时间成本，因此通常针对稀疏特征点进行匹配。深度学习通常可以实现快速的特征点匹配，但是受限于高分辨率大范围搜索空间所带来的计算成本，现有的深度学习方法也无法实现存在大幅度或非参数化坐标变换的两个图像之间的快速稠密匹配。