[发明专利]一种基于注意力图神经网络的特征匹配方法

权利要求书

1.一种基于注意力图神经网络的特征匹配方法，其特征在于，引入描述符不变特性与特征点提取进行联合训练，并衔接注意力图神经网络AGNN最优匹配层，包括预训练基础特征点检测器、真实场景标注单应性数据训练、自适应局部特征联合训练、注意力图神经网络AGNN最优匹配层训练和测试五个部分：

第一部分包括两个步骤：

步骤1，通过python简易形状合成生成器文件调用OpenCV以设计建议图形，包括三角形、四边形、线条和棋盘四类图像，并对每个图像进行单应性变化以增加样本的数量，其作为预训练基础特征点检测器的训练数据集；

步骤2，以自监督学习方式为未标记的简易形状图像生成伪标签，训练以获得拥有基础点检测能力的特征点检测器，具体实施如下：

（1）网络结构采用VGG框架的编码器将输入图像维度从120*160维度降低到15*20维度，并且每一个空间像素空间为65个通道，通道中包含1个通道以存放没有检测到的特征点；整个网络采用全卷积，采用3*3维度大小的卷积核，并使用BatchNorm归一化、ReLU非线性激活函数和标准交叉熵损失函数对网络进行训练；

（2）基础特征点检测器经训练后能够对角点、圆心、多边形中心和边缘点中心进行检测提取；

第二部分包括两个步骤：

步骤3，下载公开数据集MS-COCO2014，并将数据集进行随机的单应性变换；

步骤4，使用步骤2中得到的基础特征点检测器对步骤3中的数据集进行训练，通过自监督训练方式，提高用卷积神经网络训练所得特征点检测器的几何一致性，该步骤目的在于生成带标签的真实图像数据集，具体实施如下：

（1）神经网络模型以VGG16作为主框架，其包含8个卷积层，且每个卷积层插入一个最大池化层，每层卷积层的卷积核维度大小均为3*3维，每层卷积核的个数分别为64-64-64-64-128-128-128-128，然后引入包含65个1维卷积核的特征点检测器，其中每层卷积层经ReLU激活函数进行非线性化；

（2）训练经单应性变化的数据集，使得模型能够在真实图像处理上获得泛化能力，对过程进行反复迭代，以不断自监督和改进特征点检测器；

第三部分包括两个步骤：

步骤5，利用自适应不变特性描述符构建网络，网络对输入图像进行计算，以获得四个具有不同类型不变性的局部密集描述符，并通过NetVLAD神经网络将四种不同类型的描述符聚集得到元描述符，其中NetVLAD层具有8个128维的描述符，在整个网络模型中包含3.7M个参数，经由Adam自适应梯度优化算法进行优化和更新，其中设定学习率为0.001；

步骤6，将步骤5中的自适应不变特性描述符与步骤4中的特征点检测器相结合，使用以VGG为大框架的编码器对输入图像进行降维，网络设定为8层卷积层，每层卷积层包含的3*3卷积核个数分别为64-64-64-64-128-128-256-256，每两层卷积层接入一个平均池化层，并使用ReLU激活函数来进行非线性激活，然后进行特征点提取网络和描述符构建网络的并行训练以得到局部特征；

第四部分包括两个步骤：

步骤7，利用注意力图神经网络AGNN将步骤6中得到的特征点与描述符编码为局部特征向量，并提高局部特征向量的匹配准确度，具体实施如下：

使用编码器将特征点位置与描述符映射到单个向量中，随后经自注意力机制和交叉注意力机制来回迭代以增强局部特征向量的匹配性能，GNN以特定特征点为节点对周围其他节点进行聚合，随后接入注意力机制循环迭代对图像中特征点的相关性进行权重分配，网络总共包含9层伴随交叉和自注意力机制的GNN图神经网络层；

步骤8，通过最优匹配层计算步骤7中得到的图像对局部特征向量的内积，以获得匹配分值矩阵，利用Sinkhorn最优匹配算法引入熵正则函数，合理分配注意力GNN中的损失权重解算出最优特征匹配矩阵；

第五部分包括两个步骤：

步骤9，调试从步骤2到步骤8的网络结构超参数，设置网络模型参数，其中，超参数学习率设定为0.001，Epochs设置为100，Bach size设置为32，采用Adam自适应梯度下降法，并得到最终的训练模型；

步骤10，采集含有视点及光照变化的图像对，并下载HPatches描述符性能测试数据集，对步骤9所设定训练好的模型进行单应性、匹配准确率和召回率测试。