[发明专利]一种基于实例分割的语义SLAM鲁棒性改进方法

说明书

本发明涉及一种基于实例分割的语义SLAM鲁棒性改进方法，首先通过实例分割网络对关键帧进行实例分割，建立先验语义信息；然后计算特征点光流场对物体进一步区分，识别出场景真正运动物体并将属于动态物体的特征点去除；最后进行语义关联，建立无动态物体干扰的语义地图。本发明与现有技术相比，采用深度学习与光流相互结合的方法建立语义地图且在彩色图的基础上增加深度图，赋予系统建立稠密三维点云语义地图的能力；另外，采用Mask‑RCNN框架实时语义分割，通过光流信息估计的动态特征点与像素级别的语义信息相互结合可计算物体动态信息。本发明采用深度学习与光流相互结合使得整个系统的鲁棒性得到显著提高，能将其应用于动态场景下实时语义地图构建。

技术领域

本发明涉及实例分割及语义SLAM技术领域，具体涉及一种基于深度学习的动态场景语义SLAM改进方法。

背景技术

即时定位与地图构建(simultaneous localization and mapping，SLAM)是指机器人在陌生环境中仅通过自身携带的传感器估计自身位姿与构建环境地图的过程，它是很多机器人应用场景的先决条件，比如路径规划、无碰撞导航、环境感知等，视觉SLAM则是指以摄像头为主要数据采集传感器的定位建图方法。图片具有丰富的纹理信息，通过与深度学习相互结合，可产生环境的语义信息。

基于特征的方法只能建立稀疏的点云地图，并且没有环境语义信息，虽然直接法可以建立半稠密或者稠密地图，但是直接利用光流对整幅图像进行计算尤其是图片尺寸较大时具有准确度较低，计算量大等缺点。无论是直接法还是特征点法等方法进行视觉SLAM，均是将环境假设为静态场景且场景的主要部分的变化是由摄像头运动造成的，然而在实际环境中，不可避免的存在移动的物体，比如室内的人、室外行驶的车辆等。

为了提高动态环境下的语义SLAM系统的完整性与鲁棒性，融合深度学习方法逐渐成为国内外一个重要的研究内容和发展趋势。因此，如何利用深度学习提高动态场景下视觉语义SLAM鲁棒性能成为亟待解决的技术问题。

发明内容

本发明要解决的技术问题是：如何利用深度学习与光流互相结合的方法建立语义地图使得视觉SLAM系统在动态环境下也可有较高的鲁棒性，克服基于特征的方法只能建立稀疏点云地图并没有环境语义信息；直接利用光流对整幅图像进行计算，计算量大等缺点。

为了解决上述技术问题，本发明提供了一种基于实例分割的语义SLAM鲁棒性改进方法，包括：使用RGB-D摄像头获取RGB彩色图以及深度图，整个方法使用三路分支并行处理，使用分支三对深度图进行处理，通过分支一和分支二对RGB彩色图进行处理，其中分支一将采集到的RGB彩色图数据样本按一定比例进行划分为训练集、验证集和测试集，分支二将全部RGB彩色图数据用于ORB特征提取并辅助光流计算；

在分支一中，对RGB彩色图的处理，将RGB彩色图划分后的训练集送入实例分割卷积神经网络训练并在验证集上验证效果后得到最终网络模型参数，在测试集上进行泛化能力的测试后获得实例分割结果，即语义信息；在实例分割的同时，在分支二中，对RGB彩色图中所有数据进行ORB特征提取并辅助光流计算，得到表示运动的光流信息，并用所得到的光流信息来估计处于运动状态的特征点，即动态特征点；

将动态特征点筛选出来后，使用ORB特征中的静态特征点进行位姿的计算，获得实时运动轨迹；

得到实例分割出来的语义信息之后，通过在深度图中计算边缘信息，再将实例分割的语义信息扩展到深度图完成点云构建中的语义与深度图的匹配，从而获得语义地图；

将实时运动轨迹和语义地图同步输出，得到最终的带有语义信息的实时定位与地图构建(Simultaneous localization and mapping，SLAM)。