[发明专利]一种基于深度学习和词袋模型的闭环检测方法

权利要求书

1.一种基于深度学习和词袋模型的闭环检测方法，其特征在于包括以下步骤：

步骤1，语义特征描述子的提取；基于预训练的VGG16卷积神经网来提取特征，将conv5_3后的512个含有语义信息的特征图当做512个语义特征描述子；CNN模型由3层类型组成：5个卷积层、5个最大池化层和3个完全连接的层最大池化层为相关特征提供平移不变性并同时减小其尺寸；

步骤2，构建词袋模型的单词表，利用K-Means算法构造单词表；聚类中心有K个，码本的长度也就为k，计算每一幅图像的每一个语义特征描述子到这K个视觉词的距离，并将其映射到距离最近的视觉词中即将该视觉词的对应词频+1；完成这一步后，每一幅图像就变成了一个与视觉词序列相对应的词频矢量；

步骤3，提取该算法下的特征向量，利用单词表的中词汇表示图像；利用VGG网络，从每幅图像中提取很多个语义特征描述子，这些语义特征描述子用单词表中的单词近似代替，通过统计单词表中每个单词在图像中出现的次数，将图像表示成为一个d＝800维数值向量，用如下表示：

上述公式中等式右边是有d个维度实数的向量这个向量是用来表示图像的，类似人脸识别，将人脸抽象成一个特征下向量，用以下一步量化误差；

归一化为：

上述公式右边进行单位化操作，将每一个元素除以自身的二范数对特征向量进行单位化，为后面的相似性计算做预处理；

将这些特征映射到为码本矢量、码本矢量归一化，最后计算其与训练码本的距离，对应最近距离的训练图像认为与测试图像匹配；

步骤4，构建时间约束；在检测当前图像所代表的地理位置曾经是否到达过时，需要将当前图像与数据库中的所有历史图像进行相似度比较，采取将时间间隔转换成图像数量的方式减少闭环检测误判断；

步骤5，利用特征向量计算相似度矩阵，视觉SLAM闭合检测问题的关键部分是估计帧图像之间的相似性；将最终特征向量表示，用向量的余弦距离来测量图像之间的相似度；为测量使用归一化距离来获得得分值位于[0，1]中；通过收集相似度矩阵中成对图像的相似度得分，相似度矩阵中第i行第j列的值代表图像i与图像j的相似性得分；差异性计算公式如下：

上面的D(i,j)表示第i张图片与j张图片的差异，这个值越大，表明这俩个图片对应的俩个场景的差异越大；表示第i张图片的特征向量，表示第j张图片的特征向量，除以自己的二范数是前面提到的单位化，单位化的俩个向量相减求模得到的标量表示俩张图片的差异，D(i,j)这个值越大差异性越大；

因为相似性指的是俩张图片的越相似其值越大，与差异性成反比，所有相似性公式如下：

步骤6，判断是否闭环；如果相似性分数大于特定阈值，将其视为检测到闭环；如果相似性分数低于特定的阈值时则认为还没有闭环，物理意义就是还没有达到之前来过的地方。

2.根据权利要求1所述的一种基于深度学习和词袋模型的闭环检测方法，其特征在于：基于预训练的VGG16卷积神经网来提取语义特征描述子的提取的方法。

3.根据权利要求1所述的一种基于头肩模型的特定人体识别方法，其特征在于：基于语义描述子所构建的词袋模型的单词表。