[发明专利]基于语义平面的单目即时定位与致密语义地图构建方法

说明书

一种基于语义平面的单目视觉即时定位与致密语义地图构建方法，当新一帧图像出现时，首先检测新一帧图像中的特征点，若系统已初始化，根据关键帧队列进行相机当前位置追踪；判断新一帧图像是否为关键帧，若是则将其输入到语义分割网络中获取该帧像素级语义标签；将新关键帧加入关键帧队列，并进行联合优化，判断关键帧队列数量是否超出最大值，若已超出最大值，挑选出旧关键帧中与新关键帧共视点个数最少的一帧关键帧进行边缘化；边缘化帧中静态语义类像素点根据其同语义类最近的语义质心点对应的语义小平面进行3D位置估计，进而恢复出致密的语义地图。本发明提升其定位精度，减少大量的计算复杂度，同时也避免了追踪每一个像素点给系统带来的不稳定性。

技术领域

本发明涉及即时定位与地图构建(SLAM)技术领域，尤其涉及一种基于语义平面的单目视觉即时定位与致密语义地图构建方法。

背景技术

即时定位与地图构建(Simultaneous Localization and Mapping,SLAM)是机器人相关应用的基础技术之一。SLAM技术按照传感器种类可分为视觉即时定位与地图构建(visual Simultaneous Localization and Mapping,vSLAM)以及激光即时定位与地图构建(LiDAR Simultaneous Localization and Mapping)。由于相对成本低且纹理信息更丰富，vSLAM被广泛应用于自动驾驶、增强现实、服务机器人等领域。具体地，按照相机种类，vSLAM可细分为单目SLAM，RGBD-SLAM，双目SLAM。双目相机的优点是探测距离远，但是标定复杂、视差计算对计算资源消耗大，主要应用于室外场景；RGBD相机的优点是可通过结构光或者ToF直接得到物体深度信息，但是测量范围有限且易受日光干扰，主要应用于室外场景；单目相机的优点是结构简单、成本低且标定简单，但是缺乏尺度信息，室外场景与室内场景均有应用。

随着人工智能技术的不断发展以及相关应用需求的驱动，基于深度学习的vSLAM成为相关领域的研究热点。相关研究表明，神经网络中的高层次特征作为传统手工特征的补充，能够提升vSLAM定位的鲁棒性。同时将高层次特征融入所构建的地图，能够提升系统对环境的理解能力。部分研究将RGBD-SLAM与神经网络结合构建室内场景下致密语义地图，部分研究将双目-SLAM与神经网络结合构建室外场景下致密语义地图。相比于传统点云地图，致密环境语义地图不仅仅是包含几何位置信息的点的集合，还通过语义信息的加入使得机器人能够直接通过该地图理解所身处的环境。

传统单目vSLAM按照所构建环境地图中点云密度可分为稀疏类与致密类，稀疏类方法选择图像中具有代表性的点(例如角点、SIFT特征点)进行追踪以及重建，而致密类方法则尝试追踪所有像素点。不对图像中的像素点加以筛选而尝试追踪所有像素点虽然可以构建致密的环境地图，但是会带来巨大的计算量同时降低系统的鲁棒性以及定位精度。对于单目SLAM而言，现有的方法在定位精度以及构建致密语义地图之间难以达到平衡，无法在保证定位精度的前提下构建致密的环境语义地图。

发明内容

为了克服现有技术的不足，本发明提供一种基于语义平面的单目视觉即时定位与致密语义地图构建方法，将语义分割网络得到环境语义信息融入传统vSLAM系统中，利用人造环境下语义平面分布特性提升定位精度，同时通过对大量语义小平面的进行建模，进而从稀疏点云中恢复出环境的致密语义地图。

本发明解决其技术问题所采用的技术方案是：

一种基于语义平面的单目视觉即时定位与致密语义地图构建方法，包括以下步骤：

步骤1，当新一帧图像出现时，首先检测新一帧图像中的特征点，然后判断系统是否已初始化；若未初始化则进行初始化，建立最初两帧间的对应关系；若已初始化，则根据关键帧队列进行相机当前位置追踪；

步骤2，判断新一帧图像是否为关键帧；若不是关键帧，则根据新一帧图像对当前局部地图进行完善；若是关键帧，则将其输入到语义分割网络中获取该帧像素级语义标签；