[发明专利]一种基于异构孪生区域选取网络的图像匹配方法

权利要求书

1.一种基于异构孪生区域选取网络的图像匹配方法，其特征在于，包括如下步骤：

S1.使用训练样本训练异构孪生区域选取网络，训练样本为模板图-待匹配图图对，训练样本的标签为模板图对应的区域在待匹配图中对应区域的位置信息，所述异构孪生区域选取网络包括依次串联的异构孪生网络和区域匹配网络；所述异构孪生网络用于提取模板图的特征图和待匹配图的特征图；所述区域匹配网络用于根据模板图的特征图和待匹配图的特征图，得到区域匹配结果；所述异构孪生网络包括相互并联的子网络A和子网络B，每个子网络为依次串联的特征提取模块、特征融合模块和最大值池化模块，两个子网络仅特征提取模块的首层卷积的卷积核不同，其余模块均相同；

S2.将待测样本输入训练好的异构孪生区域选取网络，输出待测样本的匹配结果。

2.如权利要求1所述的图像匹配方法，其特征在于，所述特征提取模块用于提取输入图像的特征图，所述特征融合模块用于融合特征提取模块最后三层的卷积特征，所述最大值池化模块将融合特征尺度归一化。

3.如权利要求1所述的图像匹配方法，其特征在于，所述特征提取模块将ResNet18第二层替换为卷积。

4.如权利要求1所述的图像匹配方法，其特征在于，所述特征提取模块将ResNet18最后一层替换为卷积层。

5.如权利要求1所述的图像匹配方法，其特征在于，所述区域匹配网络包括：特征划分模块、分类模块和位置回归模块；其中，分类模块与位置回归模块并联，并行处理，并串接在特征划分模块之后；所述特征划分模块包括：第一卷积、第二卷积、第三卷积、第四卷积；所述第一卷积用于从模板图的特征图中提取模板分类特征图；所述第二卷积用于从模板图的特征图中提取模板位置特征图；所述第三卷积用于从待匹配图的特征图中提取待匹配图分类特征图；所述第四卷积用于从待匹配图的特征图中提取待匹配图位置特征图；所述分类模块用于使用模板分类特征图作为卷积核，与待匹配图分类特征图进行卷积，输出匹配的类别；所述位置回归模块用于使用模板位置特征图作为卷积核，与待匹配图位置特征图进行卷积，输出匹配的位置。

6.如权利要求1至5任一项所述的图像匹配方法，其特征在于，输出位置和实际标签的交并比IOU0.7，则样本标签p*＝1，否则，样本标签p*＝0。

7.如权利要求1至5任一项所述的图像匹配方法，其特征在于，在步骤S1之后、步骤S2之前，还可以用待测样本对异构孪生区域选取网络进行优化，具体如下：

将测试样本集中的模板图与待匹配图对输入网络，将输出结果与标签计算交并比，以交并比衡量匹配成功概率，以此评估图像匹配网络的性能，并决定是否继续训练网络。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的基于异构孪生区域选取网络的图像匹配方法。