[发明专利]基于深度图嵌入网络与结构自学习的图像关键点匹配方法

权利要求书

1.一种基于深度图嵌入网络与结构自学习的图像关键点匹配方法，其特征在于，该方法包括：

步骤S10，通过Delaunay三角分解或K近邻法分别对获取的待匹配图像对的关键点进行结构化处理，获得两幅图像关键点的邻接矩阵；

步骤S20，将所述待匹配图像对及其关键点、邻接矩阵输入训练好的图像关键点匹配网络，通过图像关键点匹配网络中的特征提取网络提取关键点特征图，并通过双线性插值法获取关键点特征矩阵；

步骤S30，通过图像关键点匹配网络中的深度图嵌入网络更新关键点特征矩阵及图结构；

步骤S40，通过图像关键点匹配网络中的深度图匹配网络计算相似度矩阵，通过Sinkhorn算法得到匹配矩阵；

步骤S50，基于所述匹配矩阵更新关键点特征矩阵；

步骤S60，重复执行步骤S30-步骤S40直至达到设定重复执行次数，获得待匹配图像对的最终匹配矩阵；

步骤S70，通过匈牙利算法进行所述最终匹配矩阵的离散化，获得待匹配图像对的关键点匹配结果。

2.根据权利要求1所述的基于深度图嵌入网络与结构自学习的图像关键点匹配方法，其特征在于，所述图像关键点匹配网络，其训练样本对集中每一个训练样本对包括：

一个图像对、对应于图像对的大小相等的关键点集对、关键点集对之间的正确匹配矩阵以及通过Delaunay三角分解或K近邻法获取的关键点集对的邻接矩阵A¹和A²。

3.根据权利要求2所述的基于深度图嵌入网络与结构自学习的图像关键点匹配方法，其特征在于，所述邻接矩阵A¹和A²的大小均为n×n，其中，n为关键点集中关键点数量；

所述邻接矩阵A¹和A²的矩阵元素初始值为1或0，1代表两个关键点之间有边相连，0代表两个关键点之间无边相连。

4.根据权利要求2所述的基于深度图嵌入网络与结构自学习的图像关键点匹配方法，其特征在于，所述图像关键点匹配网络，其训练方法为：

步骤B10，对训练样本对集中每一个训练样本对，分别通过特征提取网络进行特征提取，获得训练样本对的特征图对；

步骤B20，通过双线性插值法分别从所述训练样本对的特征图对中提取训练样本对的关键点特征矩阵X¹和X²；

步骤B30，通过深度图嵌入网络进行关键点特征矩阵X¹和X²的学习和一次更新：

分别通过第一全连接层和第二全连接层将所述关键点特征矩阵X¹和X²映射为矩阵Y¹、Z¹和矩阵Y²、Z²；

分别基于所述矩阵Y¹和矩阵Y²，计算邻接矩阵A¹的更新矩阵和邻接矩阵A²的更新矩阵并结合矩阵Z¹和Z²进行关键点特征矩阵X¹和X²的一次更新；

步骤B40，计算一次更新后的关键点特征矩阵X¹和X²之间的相似度矩阵M，对M通过softmax进行按行归一化，并通过Sinkhorn获得匹配矩阵S；

步骤B50，基于所述匹配矩阵S进行所述关键点特征矩阵X¹和X²的二次更新；

步骤B60，重复执行步骤B30-步骤B40直至达到设定重复执行次数，获得最终匹配矩阵S；

步骤B70，基于所述训练样本对集中的训练样本对通过反向传播算法迭代进行所述特征提取网络、深度图嵌入网络和深度图匹配网络的训练，直至训练样本对的最终匹配矩阵S和正确匹配矩阵之间的损失值低于设定阈值，获得训练好的图像关键点匹配网络。