[发明专利]一种基于深度学习的局部特征提取方法

权利要求书

1.一种基于深度学习的局部特征提取方法，其特征在于：其局部特征提取方法包括以下步骤：

S1、首先进行网络训练

在图像数据集MS-COCO上训练预先构建的网络，数据集被分割成一个训练集和一个验证集，分别包含82783和40504张图像；

网络包括描述器、检测器和损失函数，其中：

所述描述器包括单应性卷积网络(HCN)和特征描述，所述描述器对原始图像进行操作，最终获得与原始图像分辨率大小相同的稠密描述符；

所述检测器包括检测器CNN网络和关键点提取，所述检测器对所述HCN得到的张量F进行操作，最终获得稀疏的关键点位置；

所述损失函数：

为了共同优化检测器和描述器，所述损失函数由检测损失函数和描述损失函数这两个中间损失组成，其中，所述检测损失函数使网络产生可重复的关键点位置，这些关键点位置与视点或光照是协变的，所述描述损失函数使网络输出区分性强的描述符，获得可靠的匹配，联合优化这两种损失，同时提升检测器和描述器的效果和性能；

所述单应性卷积网络(HCN)：

接收输入的原始图像数据，利用HCN中的单应估计模块预测不同的原始图像变换，将变换后的原始图像提供给全卷积网络；

所述特征描述：

由HCN计算得到的张量作为输入：

①通过Bi-cubic插值输出一个张量

②通过L2-normalizes获得归一化的描述符向量d

d_ij＝o_ij/||o_ij||₂

这里i＝1,…,H，j＝1,…,W，H'＝H/4，W'＝W/4，H和W分别为原始图像的高和宽；d的通道数D＝256，这些描述符向量通过欧几里得距离在图像之间进行匹配；

所述检测器CNN网络：

检测器CNN网络的目标是输出一个像素级检测分数，检测分数表示该位置是关键点的概率，将张量F输入至检测器CNN网络，获取原始图像数据中每个像素的检测分数，所述检测器CNN网络由一个卷积层和两个上卷积层组成，随着通道数逐渐减少，空间分辨率逐渐增加，最后通过sigmoid激活函数获得最终结果；

所述关键点提取：

关键点提取的目标是输出稀疏的关键点位置，输入所述检测器CNN网络所得到的检测分数，利用非极大值抑制(NMS)与TopK操作，获得指定数量的特征点；

所述单应估计模块由卷积层和线性层组成，原始图像数据经过单应估计模块的网络层后预测6×N_h个参数，用于获得单应变换矩阵；

其中，1×N_h个参数用于计算尺度变换，2×N_h个参数用于计算旋转变换，3×N_h个参数用于计算透视变换；

尺度由一个参数得到：

λ(α)＝exp(tanh(α))；

对于旋转，由两个参数通过下面的公式计算：

θ(α,β)＝arctan2(tanh(α),tanh(β))；

对于透视变换矩阵A，通过tanh激活函数处理三个参数用于表示(a₁,a₂,a₃)，因此，6×N_h个参数可以获得N_h个单应变换矩阵，N_h是一个超参数，设置N_h＝4；

具体的，设定图像四个角为初始点

x＝[(-1,-1),(1,-1),(1,1),(-1,1)]，

然后利用单应估计模块来预测四个对应点，在这里，对应初始点变换表示为：

采用张量直接线性变换(Tensor DLT)以可微的方式从这4对对应点x与x'计算出单应性变换矩阵H如下：

x′＝Hx；

S2、然后进行图像匹配

利用一个标准局部特征管道来评估所述局部特征提取方法的性能，所述标准局部特征管道是任一给定的一对图像中提取和匹配特征；

S3、接着进行重复分数(Repeatability)计算

重复分数用于评价所述局部特征提取方法中检测器的性能，让ε代表正确的距离阈值，检测图像之间的正确关键点对应，重复分数定义为正确对应关键点数除以图像对中总的关键点数；

S4、然后进行匹配分数(M-Score)计算

利用匹配分数评估所述局部特征提取方法中检测器和所述局部特征提取方法中描述器的综合性能，所述匹配分数是所述标准局部特征管道的匹配策略获得的正确匹配与总匹配数量的比率；

S5、最后进行单应估计效果评价

单应估计效果评估所述局部特征提取方法估计单应矩阵的能力，所述单应估计是通过RANSAC计算实现；

其中，所述单应估计效果评估采用一种间接比较方法来适应不同尺度的单应矩阵，其测量的是RANSAC估计出的单应矩阵与ground-truth单应矩阵变换图像四角之间的平均距离。