[发明专利]一种基于二阶注意力机制的回环检测及优化方法

权利要求书

1.一种基于二阶注意力机制的回环检测及优化方法，其特征在于：包括以下步骤：

步骤(1)、构建融合VGG16、二阶注意力机制SOA和NetVLAD的网络模型SOA-NetVLAD：对VGG16进行裁剪，在VGG16的conv5_3层后面加入SOA模块，并在最后一层加入池化层NetVLAD；

步骤(2)、采用知识蒸馏的方式训练网络模型得到最优参数；

步骤(3)、对待查询图像和数据库图像进行预处理，然后输入到SOA-NetVALD网络中，提取查询图像和数据库图像的全局特征；

步骤(4)、对步骤(3)得到的全局特征向量使用局部敏感哈希LSH方法降低维度，并计算图像间的余弦相似度，按照相似度得分对数据库图像进行排序，将排序好的前k个数据库图像作为回环候选帧；

步骤(5)、引入几何验证，判断查询图像与回环候选图像是否构成真正的回环，首先提取查询图像与回环候选图像的SURF特征，然后使用CasHash算法进行成对图像匹配；

步骤(6)、使用随机采样一致性算法RANSAC消除误匹配，选择最后的回环候选帧。

2.根据权利要求1所述的一种基于二阶注意力机制的回环检测及优化方法，其特征在于，所述的步骤(1)包括如下步骤：

步骤(1-1)、对VGG16网络进行修改，删除最后一个卷积层conv5_3之后的池化层和全连接层，包括RELU激活函数，并将SOA模块连接到卷积层conv5_3之后，得到二阶特征图，最后，将NetVLAD层连接到在SOA模块的后面作为新的池化层，NetVLAD层将VLAD的思想引入到了卷积神经网络中；

步骤(1-2)、对于VGG16输出的C×W×H维的特征图x∈R^C×W×H，看作是总数为W×H的C维局部描述符x_ij(i＝1,2,...W,j＝1,2,......,H)，首先通过与D个输出通道的1×1卷积生成表示为f(x)和g(x)的两个映射，然后经过批归一化层和swish激活，其中D＝2×C，然后将映射f(x)和g(x)展平为D×HW的大小，二阶注意力图的结果如下：

m＝softmax(α·f(x)^Tg(x))

其中α表示比例因子，f(x)^T是f(x)的转置，由此得到的二阶注意力图m的尺寸为HW×HW，其值表示特征图m中局部描述符之间的相关性，最后，将特征图x和二阶注意力图m合并得到二阶注意力模块SOA(x)的输出：

SOA(x)＝x+v(m′)

其中m′是形状为HW×H×W的张量由注意力图m改变尺寸得到，v是1×1的卷积函数，恢复从HW到C的通道尺寸，二阶特征图SOA(X)的大小为C×W×H，与输入特征图x的大小相同；

步骤(1-3)、在二阶注意力模块后面添加一个可训练的NetVLAD层，把二阶特征图SOA(x)聚合成紧凑的全局描述符，VLAD是常用于图像检索和图像分类的描述方法，把聚集起来的局部描述子构造成一个向量，用该向量作为图像的全局描述子，若VLAD的输入为单幅图像的N个D维特征向量{x_i}，参数为K个聚类中心c_k，则输出为一个K×D维的特征向量，将其写成矩阵的形式，记做V，计算公式如下：

其中x_i(j)和c_k(j)分别代表第i个特征向量和第k个聚类中心的第j个元素，a_k(x_i)表示第i个特征向量对应第k个聚类中心的权重，当该特征属于这个聚类中心时，权重为1，否则为0，由于VLAD是一个离散函数，无法通过反向传播，所以NetVLAD层采用了一种近似的方式，将a_k(x_i)软分配到多个聚类中心，使其可微：

其中w_k＝2αc_k,b_k＝-α‖c_k‖²，α是一个大于0的参数，α→∞时，越来趋势于0和1，上述公式是softmax函数，最终NetVLAD层输出的特征向量为：