[发明专利]一种基于深度学习的机器人闭环检测方法

说明书

本发明涉及一种基于深度学习的机器人闭环检测方法，包括(1)获取首帧环境的RGB图像和三维数据，将环境的RGB图像和三维数据进行配准获得环境的RGB+DEPTH四通道图像，将所述RGB+DEPTH四通道图像输入到卷积神经网络中，采用卷积神经网络的中间层输出作为首帧的特征提取结果；(2)采用(1)的方法获取连续N帧的特征提取结果；(3)将第N帧与第M帧的特征提取结果进行特征匹配，根据特征匹配结果判断闭环是否发生，其中M+1<N。

技术领域

本发明涉及一种基于深度学习的机器人闭环检测方法。

背景技术

在机器人学与计算机视觉领域，视觉里程计是一种利用连续的图像序列来估计机器人移动距离的方法。视觉里程计增强了机器人在任何表面以任何方式移动时的导航精度。视觉里程计是机器人定位、地图构建以及路径规划等高层任务的基础。但是视觉里程计由于传感器的估计精度，会产生累计误差，其估计的机器人位姿会与真实位姿之间发生漂移，这种漂移可以通过闭环检测消除。

传统的闭环检测方法多依赖单一传感器信息，通过人为设计的特征提取和描述方法进行信息配准，有较大的应用局限性，这些方法忽略了环境中有用的信息，造成闭环检测的准确度不高。因此，不可避免地导致机器人定位、地图构建的鲁棒性差，而且，这些方法计算代价较大，不适合实时检测。

发明内容

本发明为了解决上述问题，提出了一种基于深度学习的机器人闭环检测方法，基于深度学习技术，实现了基于多传感器信息的融合，可同时提取环境结构特征和色彩纹理特征，另外无需人工设计和计算特征点及描述子，更无须执行繁杂的特征点匹配方法，具有较强的鲁棒性和实时性。

为了实现上述目的，本发明采用如下方案：

一种基于深度学习的机器人闭环检测方法，其特征在于：

(1)获取首帧环境的RGB图像和三维数据，将环境的RGB图像和三维数据进行配准获得环境的RGB+DEPTH四通道图像，将所述RGB+DEPTH四通道图像输入到卷积神经网络中，采用卷积神经网络的中间层输出作为首帧的特征提取结果；

(2)采用(1)的方法获取连续N帧的特征提取结果；

(3)将第N帧与第M帧的特征提取结果进行特征匹配，根据特征匹配结果判断闭环是否发生，其中M+1<N。

进一步，获取RGB+DEPTH四通道图像具体包括：对机器人的摄像机进行标定，得到摄像机的内外参数，根据摄像机内外参数将所述三维数据投影到所述环境的RGB图像平面，采用像素插值结合平滑处理方法生成对应的深度图；深度图像与RGB图像并联生成RGBD四通道图像。

所述卷积神经网络采用预训练神经网络Alexnet或基于Places数据库对预训练网络再训练和参数调优的数据库，或是结构类似的卷积神经网络。

进一步，采用相似性矩阵对第N帧与第M帧的特征提取结果进行特征匹配，用于避免根据特征匹配结果做出伪闭环的判断。

相似性矩阵是对称矩阵，其中的第N行、第M列元素代表第N帧和第M帧之间的归一化后的欧式距离。

进一步，对所述相似性矩阵进行特征值分解，去掉较大特征值，以得到降秩后的矩阵，用于避免根据特征匹配结果做出伪闭环的判断。

进一步，选取多个关键帧作为候选帧集合，第M帧出自于所述候选帧集合；所述候选帧集合的帧数满足100％闭环召回率。

进一步，将第N帧与第M帧的特征提取结果记为第1结果，将第M帧相邻帧与第N帧的特征提取结果也分别进行特征匹配，并记为第w结果，其中w>1，第M帧相邻帧为以第M帧为中心的前后多帧；若第1结果判断发生闭环，且第w结果也判断发生闭环，则决策认为发生真闭环；若第1结果判断发生闭环，且第w结果判断未发生闭环，则决策认为发生伪闭环。