[发明专利]图像与激光数据融合的机器人导航三维语义地图生成方法

权利要求书

1.图像与激光数据融合的机器人导航三维语义地图生成方法，其特征在于，包括以下步骤：

S1：获取图像数据序列和激光雷达数据序列；

S2：读取图像序列中的一帧RGB图像，读取同一时刻激光帧数据；

S3：通过双边滤波后进行上采样处理，将激光数据与RGB图像深度补全得到深度图；

S4：对RGB图像信息进行ORB特征点提取；

S5：将S4提取的特征点与S3得到的深度图结合，根据深度值z的有效范围判断是否存在好的特征点，若有，执行S6；若没有，继续读取下一帧RGB图像并重复S2至S5步骤；

S6：判定S5有对应深度值的当前帧图像是否为关键帧，若是，则恢复关键帧深度图，并执行S7；若不是，则计算当前帧的位姿，并重复S2至S6步骤；

S7：将关键帧的位姿和深度图对应，恢复当前关键帧的三维点云；

S8：对S7获取的三维点云进行滤波过滤噪声点的操作；

S9：判定是否存在下一帧RGB图像，若存在，重复S2至S9步骤；若不存在，执行S10；

S10：将当前点云与历史点云叠加，并对最终得到的点云进行滤波操作减少点云数量；

S11：生成当前时刻的三维点云；

S12：利用Mask R-CNN算法将二维图像帧进行语义分割，将结果与关键帧的位姿结合，进行坐标投影转换，得到三维点云图；

S13：将三维语义点云以八叉树格式保存为语义地图。

2.根据权利要求1所述的图像与激光数据融合的机器人导航三维语义地图生成方法，其特征在于，所述S4过程中，通过ORB提取图像的特征点。

3.根据权利要求1所述的图像与激光数据融合的机器人导航三维语义地图生成方法，其特征在于，所述S6过程中，通过ORB-SLAM2判断当前帧图像是否为关键帧；采用视觉和激光融合的深度恢复算法恢复关键帧深度图。

4.根据权利要求1所述的图像与激光数据融合的机器人导航三维语义地图生成方法，其特征在于，所述S8过程中，采用统计学滤波过滤噪声点，具体包括以下步骤：

S801：计算每个点与其最近的K个邻点之间的平均距离；

S802：计算估计的平均距离μ与标准差σ，此时距离阈值d_max表示为d_max＝μ+α×σ，其中α是比例系数，为一个常数；

S803：剔除与K个邻居点的平均距离大于d_max的点。

5.根据权利要求1所述的图像与激光数据融合的机器人导航三维语义地图生成方法，其特征在于，所述S10过程中，通过体素格滤波操作减少点云数量。

6.根据权利要求1所述的图像与激光数据融合的机器人导航三维语义地图生成方法，其特征在于，所述S11过程中，具体包括以下步骤：使用体素格滤波方法实现下采样，在保持点云的形状特征的同时减少点云数量，每个体素内用体素中所有点的重心来近似表示体素中其他点，最终该体素内所有点都用一个重心点表示，遍历所有体素得到过滤后的点云。