[发明专利]基于先验激光点云与深度图融合的语义建图与定位方法

说明书

本发明公开基于先验激光点云与深度图融合的语义建图与定位方法，包括：S1、采集先验激光点云数据；S2、获取深度图像和RGB图像，并基于深度图像生成RGB‑D点云，对先验激光点云与RGB‑D点云初始化配准；S3、通过配准后的先验激光点云提供相机位姿约束进行相机位姿校正；S4、采用前后窗口优化方法构建三维几何点云地图；S5、对三维几何点云地图进行几何增量分割，并对RGB图像进行对象识别和语义分割，融合几何增量分割、语义分割结果，得到语义增强几何分割的3D几何分割地图；S6、将对象进行语义关联及分割概率分配更新，完成语义地图的构建。本发明能够有效消除大规模室内建图与定位的累计误差，精度及实时性高。

技术领域

本发明涉及定位与地图构建技术领域，特别是涉及基于先验激光点云与深度图融合的语义建图与定位方法。

背景技术

目前，阻碍室内与户外大场景增强现实虚实融合、无人驾驶与机器人导航定位等应用的最主要技术难点是动态跟踪记录真实场景的相机位置和姿态以及三维语义地图构建。语义地图是指将传统三维点云地图赋予相对应的属性值(例如：地面，墙壁或建筑物)，由于全球卫星定位系统在很多应用场景(例如：户外高精度增强现实与无人驾驶)还无法达到对精度和鲁棒性的要求，惯性姿态传感器误差随时间漂移逐渐增大，利用计算机视觉与三维激光雷达点云的实时三维制图与相机位置姿态计算还在不断地发展完善之中。传统的方法包括从图像上对在户外预先放置的标志物进行识别，基于自然特征点的匹配，和基于已知环境三维模型的算法。最近几年由于移动计算、计算机视觉、增强现实AR，室内GIS和同时定位、地图构建SLAM技术的飞速发展，相机定位目前是一个非常活跃的研究领域。移动终端和无人飞行器UAV的使用不断增加，推动了该技术的发展，以适应AR，机器人技术，室内导航定位和自动驾驶等领域的实际应用需求。在这些新兴应用中，相机定位与语义地图构建通常是一项关键且可行的技术。诸如便携式激光雷达测距LiDAR和RGB-D相机等最新传感器通过深度信息补充了RGB图像，这为开发坚固实用的应用提供了新的机会，但仅RGB相机还远远不够。

相机定位是在线SLAM(Simultaneous Localization And Mapping，同步定位和构图)和离线SFM(Structure From Motion，运动结构)的关键一步。SLAM递增估计移动平台的位姿并同时构建周围环境地图，由于其自主定位和环境感知的能力，SLAM已成为机器人等无人系统在未知环境中自主运行的关键先决条件。视觉SLAM是一种使用相机作为数据输入传感器的算法，广泛用于室内环境移动平台。与激光雷达等测距仪相比，视觉传感器具有功耗低，体积小的优点，可为移动平台提供更丰富的环境纹理信息。因此，视觉SLAM在研究界引起了越来越多的关注，例如，许多研究人员试图提高视觉SLAM方法的效率和稳健性。在提高效率方面，提出了一些特征提取算法，如SURF特征，BRISK，ORB特征。此外，一些算法引入了并行计算以提高效率，例如用于小场景增强现实AR工作空间的并行跟踪和建图。这是第一个将定位和建图功能分离为两个线程的SLAM算法，实现了实时性能。最近在实时视觉SLAM算法中值得关注的开发称为ORB-SLAM3，它结合了近年来的最新技术，并使用实时ORB功能大型室内和室外环境中的跟踪，构图，定位和环路闭合。此外，随着新传感器，新应用和以深度学习为代表的新计算方法的快速发展，同时定位与地图构建(SLAM)算法逐渐突破了基于滤波器，小场景和逐像素匹配等传统计算方法的局限，向更加智能化的方向发展。目前，同时定位与语义地图构建Semantic SLAM不但能获得场景的几何结构信息，同时能够识别场景中的独立个体对象，获取对象的位置、姿态和功能属性等语义信息，为完成复杂场景中的智能服务任务提供支撑。语义SLAM作为当前计算机视觉领域的研究前沿和热点，为增强现实、场景理解、机器人、导航定位、人机交互和自动驾驶等热点应用提供底层算法支持，因此高精度，高鲁棒性和高实时性的同时定位与语义地图构建技术具有十分重要的科学意义和应用价值语义。随着最近二维图像语义分割和对象检测算法的发展，许多方法有效地将这些算法与最先进的SLAM方法相结合，以获得高度精确的语义分割三维地图。目前的主流方法中一方面需要先验已知3D模型，由于语义类(如椅子)的各个实例即使在单个环境中也会发生显著的变化，并且对于所有这些变化都需要精确的3D模型，这在实际实现方面受到了限制，另一方面使用分层条件随机场等概率模型为每个3D点分配一个语义标签，需要耗费过多的计算资源和内存空间，以上这些方法仍然对语义SLAM算法的实时性做出了妥协。