[发明专利]一种在困难条件下检测子和描述符同时生成的特征点匹配方法

权利要求书

1.一种在困难条件下检测子和描述符同时生成的特征点匹配方法，其特征在于，包括以下步骤：

S1、输入一张图像I，经过CNN网络输出，得到一个三维张量F∈R^h×w×n，其中R^h×w×n表示h×w×n的特征图，h×w是特征图的空间分辨率，n是通道数，三维张量F是二维响应D的集合：

D^k＝F_：：k,D^k∈R^h×w

其中，k＝1,...,n；可以将特征提取函数视为n个不同的特征检测子函数每个函数产生一个二维响应图D^k，然后将这些原始分数经过后处理，只选择一个位置子集作为输出关键点；

S2、由于存在多个检测映射D^k(k＝1,...,n)，可以对其中任何一个进行监测，对于要检测的点(i,j)：

直观地看，对于每个像素(i,j)，这对应于选择最好的检测子D^k(通道选择)，然后验证该检测器的响应映射D^k上的位置(i,j)是否存在局部极大值，如果上述特征图中的某个元素在通道上最大，并且在那层局部也是最大，那么它就是一个特征点；

S3、将步骤S2中的程序进行软特性检测，使其能够用于反向传播，首先，定义一个软局部最大值评分：

其中，N(i,j)是像素(i,j)包含自身在内的9个像素邻点的集合，然后，定义软通道选择，该选择将计算最大比率，每个描述符模拟通道方式的非最大抑制：

接下来，为了同时考虑这两个条件，将所有特征图k上两个得分的乘积最大化，以获得单个分数图：

最后，通过图像级归一化得到像素点(i,j)的软检测分数：

最终，将输出W×H×1的得分图，并且这个单层的得分图所有元素之和为1，最终得到一个得分图，作为损失训练时的中描述子的权重；

S4、给定一对图像(I₁,I₂)和它们之间的对应关系c：其中A∈I₁,B∈I₂，利用三元组边际排名损失的扩展，试图减少相应描述符和之间的距离，同时最大化到任意一幅图像中与其他混淆描述符或之间的距离，但是这可能由于外观相似的图像结构而存在，为此，将相应描述符之间的正描述距离p(c)定义为：

负描述符距离n(c)是或最混杂的描述符，被定义为：

负样本和是位于正确对应关系的图像块局部邻域之外的最混杂的负样本：

对于N₂同样如此，一个边际为M的三元排名损失可以定义为：

m(c)＝max(0,M+p(c)²-n(c)²)

这种三元排名损失的目的是通过惩罚任何可能导致错误匹配分配的混淆描述符来加强描述符的独特性，为了进一步寻找检测的可重复性，在三元组边排名损失中添加一个检测项，如下：

其中，和分别为I₁和I₂中A点和B点的软检测得分，c为I₁和I₂的所有对应项的集合；提出的损失会基于所有匹配项的检测得分来生成所有匹配项的边际m的加权平均值，因此，为了使损失最小化，最独特的对应关系将获得较高的相对得分，反之亦然，鼓励具有较高相对得分的对应关系具有与其余对应关系不同的相似描述符；

S5、使用MegaDepth数据集作为训练数据，为了提取对应关系，我们首先考虑稀疏SfM中重叠至少50％的所有图像对，对于每一对，将第二幅图像中所有具有深度信息的点投影到第一幅图像中，对第一幅图像的深度图进行深度检查以去除遮挡像素，最终得到327036对图像，这个数据集被分割成一个有18149个图像对的验证数据集和一个来自剩余118个场景的训练数据集，使用在ImageNet上预先训练并在conv4_3层后截断的VGG16架构初始化特征提取网络使用对密集特征提取器的最后一层进行50个迭代的优化，初始学习率为10^-3，然后每10个迭代再除以2，每个场景中固定数目的随机图像对用于每次迭代的训练，以补偿数据集中出现的场景不平衡，对于每一对图像，在一个对对应关系中，在图像中心选择一个256×256的随机剪裁，一次训练所选取的样本数大小为1，并确保训练对至少有128个对应关系，以获得有意义的梯度，在测试时，为了提高特征图的分辨率，将F中最后一个步长为2的池化层(pool3)替换为一个步长为1的平均池化层，然后将随后的卷积层替换为扩张的卷积，速率为2，使其接受场保持不变，通过这些修改，获得的特征图的分辨率为输入分辨率的四分之一，这允许更多的试验性关键点和更好的定位，遵循SIFT中使用的方法，在特征图级别使用局部细化来改善检测到的关键点的位置，然后，把描述符进行双线性插值在精确位置。