[发明专利]一种基于深度学习的局部特征提取方法

说明书

本发明公开了一种基于深度学习的局部特征提取方法，包括以下步骤：首先进行网络训练，在图像数据集MS‑COCO上训练预先构建的网络，数据集被分割成一个训练集和一个验证集，分别包含82783和40504张图像，网络包括描述器、检测器和损失函数，其中：所述描述器包括单应性卷积网络(HCN)和特征描述，所述描述器对原始图像进行操作，最终获得与原始图像分辨率大小相同的稠密描述符，所述检测器包括检测器CNN网络和关键点提取，所述检测器对所述HCN得到的张量F进行操作，最终获得稀疏的关键点位置，通过将检测步骤推迟到描述之后，从而获得更稳定的关键点，相比传统的非机器学习方式我们的方法具有更灵活的特征寻找过程，获得大量关键点的同时提高特征提取精度。

技术领域

本发明涉及深度学习的局部特征提取框架技术领域，具体为一种基于深度学习的局部特征提取方法。

背景技术

在计算机视觉的许多领域，基于学习的方法已经出现，并开始超过传统方法，直观上，特征提取过程只需几层卷积层组成的网络，就能够通过学习适当的参数来模拟传统检测器和描述器的行为，现有的一些基于学习的方法侧重于单独训练检测器或描述器，而另一些方法则成功构建了端到端特征检测与描述管道，对于前者，当这些单独优化的检测器或者描述器集成到完整的管道中时，这些单个组件的性能增益可能会消失，对于后者，联合训练检测器和描述器会更加可取，这使得它们可以协同优化。

然而，通过训练一个网络实现两个不同的优化目标是很有挑战性的，因为检测器的优化目标是可重复性，而描述器的优化目标是可区分性，对于两者的统一和联合并没有一套很好的解决方案，现有技术无法很好的平衡这两种优化目标。

发明内容

本发明的目的在于提供一种基于深度学习的局部特征提取方法，以解决技术背景中现有技术存在的问题。

为实现上述目的，本发明提供如下技术方案：一种基于深度学习的局部特征提取方法，其局部特征提取方法包括以下步骤：

S1、首先进行网络训练

在图像数据集MS-COCO上训练预先构建的网络，数据集被分割成一个训练集和一个验证集，分别包含82783和40504张图像；

网络包括描述器、检测器和损失函数，其中：

所述描述器包括单应性卷积网络(HCN)和特征描述，所述描述器对原始图像进行操作，最终获得与原始图像分辨率大小相同的稠密描述符；

所述检测器包括检测器CNN网络和关键点提取，所述检测器对所述HCN得到的张量F进行操作，最终获得稀疏的关键点位置；

所述损失函数：

为了共同优化检测器和描述器，所述损失函数由检测损失函数和描述损失函数这两个中间损失组成，其中，所述检测损失函数使网络产生可重复的关键点位置，这些关键点位置与视点或光照是协变的，所述描述损失函数使网络输出区分性强的描述符，获得可靠的匹配，联合优化这两种损失，同时提升检测器和描述器的效果和性能；

所述单应性卷积网络(HCN)：

接收输入的原始图像数据，利用HCN中的单应估计模块预测不同的原始图像变换，将变换后的原始图像提供给全卷积网络；

所述特征描述：

由HCN计算得到的张量作为输入：

①通过Bi-cubic插值输出一个张量

②通过L2-normalizes获得归一化的描述符向量d

d_ij＝o_ij/||o_ij||₂