[发明专利]基于深度学习的机器人回环检测方法

说明书

本发明公开了一种基于深度学习的机器人回环检测方法，本方法通过深度相机获取了一帧帧的图片，作为卷积神经网络的输入，从卷积神经网络的输出端获得物体的类别信息、位置信息及该类物体的数量信息，建立由常见物体组成的字典模型，字典模型中物体包含卷积神经网络输出端获得图片中的物体，采用类别、位置、总数量特征向量描述该图片并储存；根据两帧图片中出现的物体类别作为判断两张图片是否相同的特征，同时以位置信息和数量信息作为辅助特征，构建判断两帧图片相似程度的函数；根据该函数实现回环检测。本方法使用深度学习的方式实现回环检测功能，减少位姿漂移误差，实现精准定位和建图，大大减少运算量，在实时性方面表现的更加优秀。

技术领域

本发明涉及基于深度学习的机器人回环检测方法。

背景技术

随着机器人行业的兴起，即时定位与地图构建SLAM(simultaneous localizationand mapping)在机器人中的地位越来越重要，近些年，由于深度相机的发展，使得SLAM取得了重大的突破，逐渐由传统的激光雷达SLAM和惯性传感器SLAM转向视觉SLAM。视觉SLAM主要解决的是相机在空间中的定位、以及创建环境地图。在当前比较热门的一些行业中，都可以看到它的身影,如在VR/AR方面，根据视觉SLAM得到地图和当前视角对叠加虚拟物体做相应渲染，这样可以使得叠加的虚拟物体看起来比较真实，没有违和感；在无人机领域，可以使用视觉SLAM构建局部地图，辅助无人机进行自主避障、规划路径；在无人驾驶方面，可以使用视觉SLAM技术提供视觉里程计功能，然后跟其他的定位方式融合；移动机器人定位导航方面，视觉SLAM可以用于生成环境地图，基于该地图，移动机器人执行路径规划、自主探索、导航等任务。

回环检测是为了解决在定位建图的过程中，随着时间改变，位姿随时间的漂移问题，常用的方法是bag of words(词袋模型)，它是一种抽象的，无监督学习，其运算量较大，且随着时间的变化，机器人对于位姿的误差积累会越来越大，使得机器人定位和建图的精确度降低，严重影响机器人自主导航的准确性。

发明内容

本发明所要解决的技术问题是提供一种基于深度学习的机器人回环检测方法，本方法克服传统词袋模型回环检测的缺陷，使用深度学习的方式实现回环检测功能，减少位姿漂移误差，实现精准定位和建图，使得机器人自主导航时更加准确，且大大减少了运算量，在实时性方面表现的更加优秀。

为解决上述技术问题，本发明基于深度学习的机器人回环检测方法包括如下步骤：

步骤一、机器人在运动过程中，通过深度相机获取一帧帧的图片，所述图片作为深度学习目标检测算法的卷积神经网络的输入，从卷积神经网络的输出端获得所述图片包含物体的类别信息、位置信息及每种类物体的数量信息；

步骤二、建立由常见物体组成的字典模型，字典模型中物体包含卷积神经网络输出端获得图片中的物体，采用类别、位置、总数量特征向量描述该图片并储存，其中总数量特征向量为图片中所包含物体的总数量，即为类别特征向量的和，类别特征向量为图片中每种物体的数量，位置特征向量由该图片中所有物体边界框对角顶点的像素坐标组成；

步骤三、将图片当前帧和历史帧的物体总数量特征向量进行比较判断，如果不相等，则与下一个历史帧比较，再判断当前帧和下一个历史帧的物体总数量特征向量是否相等，当相等时，采用式(1)判断当前帧的类别特征向量与历史帧的类别特征向量相减是否为零，即

式(1)中：C1为当前帧的类别特征向量、C2为历史帧的类别特征向量、C1_i表示当前帧类别特征向量的第i个值，C2_i表示历史帧类别特征向量的第i个值、第i个值表示第i个物体的数量，n为设定的物体类别数量；f为当前帧的类别特征向量与历史帧的类别特征向量相减是否为零的结果，如果f不为零，则与下一个历史帧比较，重新执行本步骤；

步骤四、当式(1)中f为零时，采用式(2)计算两帧图片的相似程度：