[发明专利]基于深度学习的机器人回环检测方法

摘要

本发明公开了一种基于深度学习的机器人回环检测方法，本方法通过深度相机获取了一帧帧的图片，作为卷积神经网络的输入，从卷积神经网络的输出端获得物体的类别信息、位置信息及该类物体的数量信息，建立由常见物体组成的字典模型，字典模型中物体包含卷积神经网络输出端获得图片中的物体，采用类别、位置、总数量特征向量描述该图片并储存；根据两帧图片中出现的物体类别作为判断两张图片是否相同的特征，同时以位置信息和数量信息作为辅助特征，构建判断两帧图片相似程度的函数；根据该函数实现回环检测。本方法使用深度学习的方式实现回环检测功能，减少位姿漂移误差，实现精准定位和建图，大大减少运算量，在实时性方面表现的更加优秀。

主权项

1.一种基于深度学习的机器人回环检测方法，其特征在于本方法包括如下步骤：步骤一、机器人在运动过程中，通过深度相机获取一帧帧的图片，该图片作为深度学习目标检测算法的卷积神经网络的输入，从卷积神经网络的输出端获得的图片包含物体的类别信息、位置信息及该种类物体的数量信息；步骤二、建立由常见物体组成的字典模型，字典模型中物体包含卷积神经网络输出端获得图片中的物体，采用类别、位置、总数量特征向量描述该图片并储存，其中物体总数量即为类别特征向量的和，位置特征向量由该图片中所有物体边界框的像素坐标组成；步骤三、将图片当前帧和历史帧的物体总数量特征向量进行比较判断，如果不相等，则与下一个历史帧比较，再判断当前帧和下一个历史帧的物体总数量特征向量是否相等，当相等时，采用机型判断当前帧的类别特征向量与历史帧的类别特征向量相减是否为零，即              （1）式（1）中：C1为当前帧的类别特征向量、C2为历史帧的类别特征向量、 表示当前帧类别特征向量的第i个值，即为第i个物体的数量、  表示历史帧类别特征向量的第i个值、n为设定的物体类别数量；f为当前帧的类别特征向量与历史帧的类别特征向量相减是否为零的结果，如果f不为零，则与下一个历史帧比较，重新执行本步骤；步骤四、当式（1）中f为零时，采用式（2）计算两帧图片的相似程度：     （2）式（2）中：P为两帧图片中所有物体像素面积之和的比值、为第i个种类第j个物体的像素面积、、为第i个种类的第j个物体边界框的右上坐标，、为第i个种类的第j个物体边界框的左下坐标、中1表示当前帧， 则表示当前帧中第i个种类的第j个物体所占有的像素面积，同理则表示历史帧中第i个种类的第j个物体所占有的像素面积；如果P的值大于1，则取其倒数，如果P的值小于等于1，则不变，当两帧图片相同的时候，P是一个接近于1的值，当两帧图片中的物体总和像素面积不相同的时候，P是小于1的值；步骤五、判断P≥相似度阈值，若为真，则两帧图片相似，判断机器人产生回环，反之，则两帧图片不相似，判断机器人无回环产生，其中相似度阈值为由实践经验判断相似度设定的一个常数。