[发明专利]基于先验激光点云与深度图融合的语义建图与定位方法

权利要求书

1.基于先验激光点云与深度图融合的语义建图与定位方法，其特征在于，包括如下步骤：

S1、采集场景的整体先验激光点云数据，并对所采集的数据进行预处理；

S2、通过固定在移动平台上的相机实时获取场景的深度图像和RGB图像，并基于所述深度图像生成RGB-D点云，采用深度学习定位神经网络及最近邻居ICP迭代算法对预处理后的先验激光点云数据与所述RGB-D点云进行初始化配准；

S3、通过配准后的先验激光点云数据提供相机位姿约束，对相机位姿进行校正，完成相机定位；所述步骤S3具体包括如下步骤：

S3.1、从相机实时获取的深度图像中选择待校正的关键帧，并通过动态对象剔除和深度图像数据去噪，生成RGB-D点云数据；

S3.2、根据视觉跟踪线程产生的相机初始姿态，获取局部先验激光点云数据；

S3.3、基于所述局部先验激光点云数据，采用点到面的ICP迭代算法获取待校正的关键帧的相机位姿，并将待校正的关键帧的相机位姿通过关键帧可视性图传递到局部地图；

S4、基于先验激光点云数据提供的相机位姿约束，采用多线程地图分段前后窗口优化方法构建三维几何点云地图；所述步骤S4包括：

S4.1、获取深度图像的关键帧和3-D ORB特征点，构建稀疏地图；

S4.2、采用先验激光点云数据提供的相机位姿约束，对所构建的稀疏地图进行局部优化；

S4.3、采用多线程地图分段优化方法对局部优化后的地图进行全局优化；

S4.4、采用双窗口优化方法对全局优化后的地图进行进一步优化，得到三维几何点云地图；

S5、对所述三维几何点云地图进行几何增量分割，并采用基于卷积网络的对象检测器对每帧RGB图像进行对象识别和语义分割，对几何增量分割结果、语义分割结果进行融合，获取对象边界，得到场景语义增强几何分割的3D几何分割地图；

S6、通过步骤S3中相机位姿的校正结果对所述语义增强几何分割的3D几何分割地图进行更新，基于更新结果对场景中的对象进行语义关联及分割概率的分配更新，完成语义地图的构建。

2.根据权利要求1所述的基于先验激光点云与深度图融合的语义建图与定位方法，其特征在于，所述步骤S2中，对预处理后的先验激光点云数据与所述RGB-D点云进行初始化配准的方法包括：

首先，构建深度学习网络，将预处理后的先验激光点云数据与所述RGB-D点云对齐，获得以相机位姿标记的连续视频帧，通过连续的视频帧图像及所述相机位姿训练所述深度学习定位神经网络；

其次，将相机采集的RGB图像视频帧输入训练好的深度学习定位神经网络获得初始相机位姿；

再次，采用ICP迭代算法，对所述初始相机位姿进行更新，完成先验激光点云数据与所述RGB-D点云的初始化配准。

3.根据权利要求1所述的基于先验激光点云与深度图融合的语义建图与定位方法，其特征在于，所述步骤S3.1中，基于相机的深度信息和跟踪线程的位姿生成RGB-D点云数据。

4.根据权利要求1所述的基于先验激光点云与深度图融合的语义建图与定位方法，其特征在于，所述步骤S4.4中，双窗口优化方法包括前部窗口、后部窗口；所述前部窗口约束为位姿-地图点约束，所述前部窗口用于控制局部地图的构建；所述后部窗口约束为后部窗口与前部窗口关键帧之间的位姿-位姿约束，以及后部窗口与前部窗口地图点之间的位姿-地图点约束；所述后部窗口用于控制地图的全局一致性。

5.根据权利要求4所述的基于先验激光点云与深度图融合的语义建图与定位方法，其特征在于，所述前部窗口包括地图段中的若干个关键帧、前后地图段重叠的若干关键帧、所述关键帧观察到的地图点集；所述后部窗口包括所述前部窗口中已优化的关键帧集。