[发明专利]一种基于实例分割的视觉SLAM回环检测改进方法

权利要求书

1.一种基于实例分割的视觉SLAM回环检测改进方法，其特征在于，包括下述步骤：

(1)使用RGB-D摄像头获取RGB信息以及深度的信息，将采集到的数据集样本分成多个同等份的数据集；

(2)将数据集中的每一张图片分别送入CNN，进行特征提取；

(3)在最后一层卷积featuremap上，通过RPN生成ROI，每张图片固定n个建议窗口；

(4)通过RoIAlign层使得每个建议窗口生成固定大小的feature map；

(5)得到三个输出向量，第一个是softmax分类，第二个是每一类的bounding box回归，第三个是每一个ROI的二进制掩码Mask；通过这三个输出向量，从而得到实例分割的结果；

(6)将实例分割的结果进行过滤，即将分割出的相关性较低的实例进行选择并去除，只留下能区分图像特征的实例；

(7)将第A帧图像与第B帧图像所得到的实例分割过滤后的结果进行对比，规定A、B在全部帧中随机取，且A+1B，当最终聚类中心的对比在误差范围之内，并达到了一定的数量时，便看作是达到了回环的效果；

(8)得到MASK R-CNN的实例分割结果后，一方面可以直接通过最终的特征进行回环检测；另一方面，也可以使用结合实例分割与视觉SLAM的回环检测方法。

2.根据权利要求1所述的基于实例分割的视觉SLAM回环检测改进方法，其特征在于，所述结合实例分割与视觉SLAM的回环检测方法具体为：

①将步骤(6)所得到的结果进行再次回环检测检验，由于移动机器人中回环检测问题主要研究图像间的相似性，而当背景实例相同但前后景不同时，应当判定为没有达到回环效果，为此可通过前后景对比的方式，而这一判定依据只能结合MASK R-CNN来进行判断；

②通过MASK R-CNN对实例进行前后景区分，随后对实例前后景进行统计，将前景的实例集合作为字典D1，后景的实例集合作为字典D2，其中前后景作为key，前后景的实例列表作为value；针对第A帧图像与第B帧图像得到的D1、D2进行前后景对比，从而对回环检测进行进一步的检测。

3.根据权利要求1所述的基于实例分割的视觉SLAM回环检测改进方法，其特征在于，所述结合实例分割与视觉SLAM的回环检测方法具体为：

①将步骤(6)所得到的结果进行再次回环检测检验，由于当机器人在道路移动时，实际上图像中的事物都是由远到近的，所以实例和前后景经常都是相同的，为此可对每个实例进行图形面积计算，而这一判定依据只能结合MASK R-CNN来进行判断；

②通过对图像中每个实例进行像素点总和的计算，总和数记作n，将不同实例的面积进行区分和统计，可以得到每个实例的面积总和并进行图像之间的对比，从而对回环检测进行进一步的检测。

4.根据权利要求1所述的基于实例分割的视觉SLAM回环检测改进方法，其特征在于，所述结合实例分割与视觉SLAM的回环检测方法具体为：

①将步骤(6)所得到的结果进行再次回环检测检验，由于机器人在运动过程中，有可能同一场景从不同角度拍摄，而此时实例面积很可能不起作用，为此可通过计算实例的中心位置，而这一判定依据只能结合MASK R-CNN来进行判断；

②在通过RGB-D相机得到数据的同时，对此时得到的像素平面进行位置处理，给定每个像素(x，y)位置信息，x轴为横向，y轴为纵向；

③对每个实例中的总和像素点n进行像素位置的x、y总和计算，x坐标总和记为X，y坐标总和记为Y，最后将总和X、Y分别除以总像素点n，得到每个实例的中心点位置，从而通过不同实例的中心点位置对回环检测进行进一步的检测。