[发明专利]基于深度伪孪生网络的图像特征点匹配方法及装置

说明书

本发明公开一种基于深度伪孪生网络的图像特征点匹配方法及装置，该方法通过获取场景下第一视角图像中的目标特征点，以及场景下其他视角图像中的待匹配特征点，将目标特征点的临近图像及中央裁剪图像输入深度伪孪生网络，得到目标特征点的特征向量；将待匹配特征点的临近图像及中央裁剪图像输入深度伪孪生网络，得到待匹配特征点的特征向量，计算目标特征点的特征向量与待匹配特征点的特征向量的对比误差度量，输出最小对比误差度量所对应的待匹配特征点作为目标特征点的最佳匹配特征点，本发明采用从大量数据学习得来的深度伪孪生网络，对于图像特征点的描述可以更好的保留局部图像信息，更好的完成图像特征点匹配任务。

技术领域

本发明涉及连续拍摄图像的特征关联技术领域，尤其涉及一种基于深度伪孪生网络的图像特征点匹配方法及装置。

背景技术

图像特征匹配通常指通过对影像内容、特征、结构、关系、纹理及灰度等的对应关系，相似性和一致性的分析，寻求相似影像目标的方法。绝大多数的图像匹配是通过一定的匹配算法在两幅或多幅影像之间识别相似点的过程。

图像特征匹配任务是一组与计算任务相关的信息，计算任务取决于具体的应用。简而言之，特征是图像信息的另一种数字表达形式。一组好的特征对于在指定任务的性能表现可能具有至关重要的作用，所以研究人员投入大量的精力对图像特征点的描述进行研究，使得设计出来的描述算法尽可能精确的描述特征点及其周围像素的信息，将特征点的匹配关系与描述的相似程度相互关联，将特征点的匹配问题转化为特征点特征空间中描述向量最近邻问题。在当前对于图像特征点的描述算法大都是人工设计的，对于图像特征的描述具有一定程度的信息丢失。

发明内容

本发明提供一种基于深度伪孪生网络的图像特征点匹配方法及装置，以解决现有图像特征点匹配方式对于图像特征的描述具有一定程度的信息丢失的问题。

第一方面，本发明提供一种基于深度伪孪生网络的图像特征点匹配方法，所述方法包括：

获取场景下第一视角图像中的目标特征点，以及所述场景下其他视角图像中的待匹配特征点；

将所述目标特征点的临近图像及中央裁剪图像输入深度伪孪生网络，得到所述目标特征点的特征向量；将所述待匹配特征点的临近图像及中央裁剪图像输入深度伪孪生网络，得到所述待匹配特征点的特征向量；

计算所述目标特征点的特征向量与所述待匹配特征点的特征向量的对比误差度量；

输出最小对比误差度量所对应的待匹配特征点作为所述目标特征点的最佳匹配特征点。

结合第一方面，在第一方面的第一种可实现方式中，获取场景下第一视角图像中的目标特征点，以及所述场景下其他视角图像中的待匹配特征点之前，所述方法还包括：

构建5层深度伪孪生网络；

筛选原始数据产生第一类训练数据，将所述第一类训练数据进行中央裁剪产生第二类训练数据；

将所述第一类训练数据和对应的第二类训练数据输入所述深度伪孪生网络中；

根据输出值与训练真值的差异，对所述深度伪孪生网络中的参数进行训练更新，得到最优的网络参数。

结合第一方面的第一种可实现方，在第一方面的第二种可实现方式中，构建5层深度伪孪生网络包括：

建立深度伪孪生网络的左支和右支，所述左支依次包括第一类训练数据图像、被中央裁剪的图像区域、深度伪孪生网络左支的第一卷积层、深度伪孪生网络左支的第二卷积层、深度伪孪生网络左支的第三卷积层、深度伪孪生网络左支的第四卷积层、深度伪孪生网络左支的第五卷积层，所述右支依次包括第二类训练数据图像、深度伪孪生网络右支的第一卷积层、深度伪孪生网络右支的第二卷积层、深度伪孪生网络右支的第三卷积层、深度伪孪生网络右支的第四卷积层、深度伪孪生网络右支的第五卷积层；