[发明专利]一种基于深度学习的机器人闭环检测方法

权利要求书

1.一种基于深度学习的机器人闭环检测方法，其特征在于：

(1)获取首帧环境的RGB图像和三维数据，将环境的RGB图像和三维数据进行配准获得环境的RGB+DEPTH四通道图像，将所述RGB+DEPTH四通道图像输入到卷积神经网络中，采用卷积神经网络的中间层输出作为首帧的特征提取结果；

(2)采用(1)的方法获取连续N帧的特征提取结果；

(3)将第N帧与第M帧的特征提取结果进行特征匹配，根据特征匹配结果判断闭环是否发生，其中M+1<N；

对机器人的摄像机进行标定，得到摄像机的内外参数，根据摄像机内外参数将所述三维数据投影到所述环境的RGB图像平面，并采用像素插值结合平滑处理方法生成对应的深度图像；

选取多个关键帧作为候选帧集合，第M帧出自于所述候选帧集合；

将第N帧与第M帧的特征提取结果记为第1结果，将第M帧相邻帧与第N帧的特征提取结果也分别进行特征匹配，并记为第w结果，其中w>1，第M帧相邻帧为以第M帧为中心的前后多帧；若第1结果判断发生闭环，且第w结果也判断发生闭环，则决策认为发生真闭环；若第1结果判断发生闭环，且第w结果判断未发生闭环，则决策认为发生伪闭环。

2.根据权利要求1所述的方法，其特征在于：所述深度图像与RGB图像并联生成RGBD四通道图像。

3.根据权利要求1所述的方法，其特征在于：所述卷积神经网络采用预训练神经网络Alexnet或基于Places数据库对预训练网络再训练和参数调优的数据库。

4.根据权利要求1所述的方法，其特征在于：采用相似性矩阵对第N帧与第M帧的特征提取结果进行特征匹配，用于避免根据特征匹配结果做出伪闭环的判断。

5.根据权利要求4所述的方法，其特征在于：对所述相似性矩阵进行特征值分解，得到降秩后的相似性矩阵，用于避免根据特征匹配结果做出伪闭环的判断。

6.一种机器人，包括摄像机，其特征在于：还配置有三维激光扫描仪，采用如权利要求1-5任一项所述的闭环检测方法判断闭环是否发生。