[发明专利]一种动态场景下基于语义分割的直接法视觉定位方法

说明书

本发明公开了一种动态场景下基于语义分割的直接法视觉定位方法，属于SLAM同步定位与建图领域；本发明首先采用深度学习中的语义分割技术对图像中的动态物体进行分割，获得像素级别的动态物体语义信息；在此基础上，从原始图像中根据像素点梯度信息提取候选点并根据语义信息对动态区域的候选点进行剔除，仅保留静态区域的候选点；然后基于保留的候选点采取融合图像语义信息的金字塔模型估计相机位姿；最后基于滑动窗口优化并结合图像语义信息对关键帧的位姿进行优化。实验结果表明，在动态环境下，本发明公开的方法的定位精度较现有系统提升71％‑86％。

技术领域

本发明涉及深度学习在视觉里程计(Visual odometry)中的应用，属于SLAM(Simultaneous Localization and Mapping)同步定位与建图领域。

背景技术

视觉SLAM(同时定位与建图，带有回环检测)或V0(视觉里程计，不带回环检测)是机器人在未知环境下自主运行的关键技术。基于机器人外部传感器检测到的环境数据，SLAM构造了机器人的周围环境图，同时给出了机器人在环境图中的位置。与雷达、声纳等测距仪器相比，视觉传感器具有体积小、功耗低、信息采集丰富等特点，能够在外部环境中提供丰富的纹理信息。因此，视觉SLAM已经成为当前研究的热点，并应用于自主导航、VR/AR等领域。

传统的视觉SLAM(带有回环检测)或者V0(不带回环检测)在恢复场景信息和相机运动时是基于静态环境假设的。场景中的动态物体会影响定位精度。目前，传统的基于点特征的视觉SLAM算法通过检测动态点并将其标记为外点来处理简单的动态场景问题。ORB-SLAM通过RANSAC、卡方检验、关键帧法和局部地图减少了动态物体对定位精度的影响。2013年，有学者提出了一种新的关键帧表达和更新方法，用于对动态环境进行自适应建模，有效地检测和处理动态环境中的外观或结构变化。同年，有学者引入了多摄像机间姿态估计和建图的方法用于处理动态场景。2018年有学者提出将深度学习中的语义分割技术与现有的SLAM或者V0系统结合，通过语义分割获得场景中的动态物体先验信息，在特征点提取过程中剔除动态物体特征，为后续定位提供稳健的静态区域特征点。上述基于深度学习的方法都是特征点法，显著提高了基于特征点的视觉SLAM系统在动态环境下的定位精度和鲁棒性。基于直接法的SLAM或V0在动态场景中的定位精度有待提高。

发明内容

本发明所要解决的技术问题是：

为了提升传统VO在动态场景下的定位精度和鲁棒性，提供一种动态场景下基于语义分割的直接法视觉定位方法，能够对场景中的动态物体进行分割，降低场景中的动态物体对定位的干扰。

本发明为解决上述技术问题采用以下技术方案：

一种动态场景下基于语义分割的直接法视觉定位方法，包括以下步骤：

步骤1、采集原始图像，并利用深度学习中的图像语义分割技术分割所述原始图像中的动态物体，获得包含动态物体像素级语义信息的语义图像；

步骤2、在所述原始图像中提取候选点，并根据步骤1获取的语义图像剔除动态区域候选点，仅保留静态区域候选点；

步骤3、基于步骤2中保留的静态区域候选点，结合图像金字塔模型和步骤1获取的语义图像估计相机位姿；

步骤4、基于滑动窗口和步骤1获得的语义图像对关键帧位姿进行优化。

作为本发明一种动态场景下基于语义分割的直接法视觉定位方法的进一步优选方案，在步骤1中，获得包含动态物体像素级语义信息的语义图像，具体包含如下步骤：

步骤1.1、定义常见动态物体类别，所定义类别中，动态物体包括：人、自行车、汽车、摩托车、飞机、公共汽车、火车、卡车、船、鸟、猫、狗、马、羊、牛、大象、熊、斑马、长颈鹿；