[发明专利]基于图像特征级联的自适应实时闭环检测方法

说明书

本发明公开了一种基于图像特征级联的自适应实时闭环检测方法。本发明在不同环境下具有更好的鲁棒性能，采用特征级联后的图像表征更加丰富，闭环的误判率降低了，实时性能有了一定的提升。相较于其他使用卷积神经网络进行闭环检测的系统，本方法级联了不同层次的特征，综合低层次和高层次的图像信息，使得图像表示更加丰富，并在特征级联之前进行了特征降维操作，使得系统的实时性能得到了保证，此外针对相邻帧误判和相似场景的误判，提出了自适应候选范围匹配算法，该算法除了降低误判还提升了鲁棒性能，通过图像‑序列的校准算法来尽可能减小误判率，进一步提高了闭环检测的效果。

技术领域

本发明涉及视觉SLAM技术领域，具体涉及一种基于图像特征级联的自适应实时闭环检测方法。

背景技术

随着人工智能以及机器人领域的快速发展，利用深度学习来实现机器人的自主定位导航逐渐成为机器人研究领域重要研究方向。其中，视觉SLAM成为近年来机器人定位导航研究领域中最为活跃的领域之一。它也是整个视觉定位导航里面非常突出的一种技术，它被各种各样的领域所需要，如无人机领域、服务机器人领域以及工业机器人领域等。

一个完整的视觉SLAM系统需要几个关键模块，如数据处理、视觉里程计、后端优化、地图构建和闭环检测，其中视觉里程计和闭环检测都是非常关键的模块。视觉里程计的目标是根据拍摄的图像估计相机的运动，然而，现有的视觉里程计技术仅考虑相邻时间上的关联，这会导致先前产生的误差将累计到下一时刻，随着时间的推移，产生的误差将会逐步增加，使得整个视觉里程计系统出现严重的累计误差。识别先前访问过的地方的能力可以为SLAM算法带来很多好处。对于基于各种传感器的移动机器人来说，闭环检测的确是一个至关重要的部分。所以，一个好的视觉里程计系统，它需要闭环检测技术来帮助它减少累计误差。主要原因在于：视觉历程计获得的是相对位置，它只能得到当前位置相对于上一时刻位置的相对位移，而闭环检测，它能获得绝对位置信息。当我们检测到闭环，将其获得的信息提供给后端进行处理，能够显著地减少机器人移动过程中的累积误差从而提高后端优化处理的准确性，因此闭环检测对于整个SLAM系统精度与鲁棒性的提升有着非常重要的意义。

闭环检测有两种常用的方法：基于测距的方法和基于外观的方法。基于测距的方法假设里程计足够精确，利用里程计找到与当前帧最近的先前帧。然而，这种假设在实际环境中经常被破坏，因为测距误差累积是不可避免的。基于外观的方法在视觉SLAM中得到了广泛的应用。它直接使用视觉数据，例如由机器人捕获的图像。它只考虑观察到的图像，与预先估计的轨迹没有任何关联。

基于外观的方法已经成功地用于闭环检测，并且提出了许多图像描述子的技术，如使用了局部图像特征(SIFT，SURF和ORB的Bag-of-Words(BoW)、Fisher向量和VLAD。其他方法使用全局图像特征，例如GIST。其中，Cummins等提出的著名的FAB-MAP，通过提取SURF特征并构造一个视觉词典(BOW模型)，机器人将在获取的图像中用视觉词典检索在运行过程中获取字符，以获得两个地方之间的相似性，计算闭环的概率来实现闭环检测。机器人将在获取的图像中用视觉词典检索在运行过程中获取字符，以获得两个地方之间的相似性，计算闭环的概率来实现闭环检测。

然而，这些手工提取的特征是根据人的专业知识和经验设计的，不能很好地代表图像，它们也有共同的局限性，并不适用于所有情况。传统的基于外观的方法大多利用手工特征，是基于人的专业知识设计的。近十年来，深度学习迅速兴起，近年来取得了巨大的进步。最近的研究证明了深度学习在各种计算机视觉任务中的显著成功。由于深度学习技术的成功，深度学习已经广泛地应用于多个不同领域的不同任务，包括大规模图像分类、目标检测、人脸验证等。不同的深度神经网络结构已经用于具有不同训练策略和数据集的不同应用，一旦训练完毕，这种网络甚至可以用于不同的任务，作为从图像中区分特征的提取器。近年来在深入学习方面的研究也促使研究者开始研究其在闭环检测中的应用。

发明内容