[发明专利]一种基于深度学习和词袋模型的闭环检测方法

说明书

本发明公开了一种基于深度学习和词袋模型的闭环检测方法，将VGG16网络提取的多个含有语义信息的特征图作为多个语义描述子代替ORB描述子传给词袋模型，使提取的特征更适用于闭环检测；构建词袋模型的单词表，用K‑means对前面提取的语义特征描述子进行聚类运算，获得聚类的中心从而当做词袋模型的单词表；提取该算法下的特征向量，利用VGG网络，从每幅图像中提取很多个语义描述子，这些语义描述子都用单词表中的单词近似代替，通过统计单词表中每个单词在图像中出现的次数；最后利用特征向量计算相似度矩阵。本发明在数据集上实验表明,相较于传统的视觉词袋模型方法,该算法具有更强的泛化性,可以在闭环检测中达到更高的准确率。

技术领域

本发明公开了一种基于深度学习和词袋模型的闭环检测方法，属于模式识别与人工智能和计算机视觉领域。

背景技术

近年来，闭环检测已经成为了移动机器人导航领域的关键问题和研究热点。同时定位与地图构建(Simultaneous localization and mapping,SLAM)是机器人实现自主移动的关键基础之一,包括特征提取与匹配、数据配准、闭环检测和全局优化等步骤。其中闭环检测可以判断当前位置是否已被移动机器人访问过,是SLAM过程的关键环节。准确地检测出闭环可以有效减少机器人位姿估计的累积误差,有利于构建更加精确的地图,保证生成地图的一致性。

一些现有方法基于传统特征(如ORB)的视觉词袋模型(Bag of words,BoW)方法,词袋模型的关键在于如何选择最优的局部特征，目前多采用传统SIFT、SURF和ORB等特征作为图像的表达。而全局描述子算法的主要思想是直接计算整张图像的描述子，从而表达图像的整体属性。GIST是一种非常有效的常规图像描述子，它能够以紧凑的方式去捕捉不同类型场景的基本结构。在此基础上，然而，这些方法所使用的都是低层特征，是人为设计的。随着大规模数据集的公开(如ImageNet)以及各种硬件的升级(如GPU)，深度学习得到了迅速发展。深度学习能够通过多层神经网络对输入的图像提取抽象的高层特征，从而更好地应对环境的变化，这种优势使其在图像分类和图像检索中得到了广泛应用。

发明内容

本发明的目的在于克服现有技术的上述不足，采用深度学习和词袋模型的闭环检测方法。其中与以前的工作不同的关键部分：与传统的ORB描述子相比，本发明使用在Image-net上预训练的VGG16网络来来提取特征图，将这些带有语义信息的特征图作为语义描述子取代ORB描述子，再结合词袋模型用以检测闭环。在提取的语义描述子的基础上进行K-Means均值聚类得到词袋模型的单词表，最后通过利用单词表的中词汇表示图像以进行图片之间相似度的计算。本发明可以提高识别准确率。

为了实现上述目的，本发明采用以下技术方案：

(1)语义特征描述子的提取，基于预训练的VGG16卷积神经网来提取特征，将conv5_3后的512个含有语义信息的特征图当作512个语义特征描述子。该CNN模型是一个多层神经网络,主要由3层类型组成:5个卷积层,5个最大池化层和3个完全连接层最大池化层为相关特征提供平移不变性并同时减小其尺寸。事实上,它也是通过合并底层本地信息来构建抽象表示的过程。而对于完全连接层,前一层中的所有神经元都完全连接到当前层的每个单个神经元。借助深层架构,CNN能够在各种抽象层次上学习高级语义特征。当输入一幅RGB图像到该模型后,可以提取到每层特征可视化图。此外,与浅层次的卷积和池化层相比,pool5这样的更深层次的池层对于视觉环路闭合检测效果特别突出,因为它仍然保留输入图像的大部分空间信息并且导出输入图像的更丰富的语义表示；