[发明专利]一种基于深度卷积网络的跨域图像稀疏匹配方法

说明书

本发明公开了一种基于深度卷积网络的跨域图像稀疏匹配方法。使用本发明能够适用于外观特征变化较大的图像，且鲁棒性较好。本发明利用深度卷积网络中不同层级的卷积层、池化层或激活层的张量信息，倒金字塔式地从最底层级依次往上进行逐渐精确的特征点匹配，能够适用于外观特征变化较大的图像，且鲁棒性较好。此外，利用张量响应值对最近邻匹配对进行筛选，剔除语义信息不强的最近邻匹配对，使得筛选出来的最近邻匹配对具有语义相关性。

技术领域

本发明涉及计算机视觉技术领域，具体涉及一种基于深度卷积网络的跨域图像稀疏匹配方法。

背景技术

图像匹配不仅是计算机视觉中的一个核心问题，也是很多图形学应用如图像变形的基础。

传统算法中，把寻找图像匹配点的过程分为两步，首先提取出每幅图像中的特征点，然后将特征点进行比较获得匹配。对此国内外提出了很多有效的方法，主要分为角点特征检测、斑状特征检测和区域特征检测等三大类。1999年由Lowe等人提出来的SIFT(Scale-invariant feature transform)算法，基于图像局部外观的兴趣点而与图像的大小和旋转无关，具有平移、旋转、尺度及部分视角变化的不变性(Lowe,David G.Objectrecognition from local scale-invariant features.Computer vision,1999.Theproceedings of the seventh IEEE international conference on.Vol.2.Ieee,1999.)；2006年由Herbert提出来的SURF(Speeded up robust features)算法是SIFT算法的改进，大大降低了算法的时间复杂度(Bay,Herbert,Tinne Tuytelaars,and Luc VanGool.Surf:Speeded up robust features.European conference on computervision.Springer,Berlin,Heidelberg,2006.)。

然而仅仅基于图像本身的特征，对于外观特征变化较大的图像，传统算法无法得到较好的匹配结果。此外，由于缺少语义信息，得到的匹配点也不具有语义相关性，无法为更多的有意义的后续工作提供指导。Christopher B.Choy等人提出了一种基于深度网络的学习方法来学习图像之间的匹配，然而他们有监督的方法只适用于对应数据集的数据，鲁棒性较差(Chandraker M,Choy C B,Savarese S.UNIVERSAL CORRESPONDENCE NETWORK:,US20170124711[P].2017.)。

发明内容

有鉴于此，本发明提供了一种基于深度卷积网络的跨域图像稀疏匹配方法，能够适用于外观特征变化较大的图像，且鲁棒性较好。

本发明的基于深度卷积网络的跨域图像稀疏匹配方法，包括如下步骤：

步骤1，构建深度卷积网络，并对其进行训练，得到能够提取图像特征的、训练好的深度卷积网络；

步骤2，将待匹配的两幅图像A、B分别输入步骤1训练好的深度卷积网络，提取深度卷积网络中各层级中的卷积层、池化层或激活层的输出；其中，一个层级提取其中一层的输出，各层级可以提取同一种层的输出(例如均提取激活层)，也可以提取不同种层的输出；

步骤3，针对提取的各层的输出，分别设定该层的搜索子区域；从最底层开始，由下至上在各层对应的搜索子区域内分别进行最近邻匹配；其中，最近邻匹配过程如下：