[发明专利]图像与激光数据融合的机器人导航三维语义地图生成方法

说明书

本发明公开了图像与激光数据融合的机器人导航三维语义地图生成方法，包括以下步骤：S1：获取图像数据序列和激光雷达数据序列；S2：读取图像序列中的一帧RGB图像，读取同一时刻激光帧数据；S3：通过双边滤波后进行上采样处理，将激光数据与RGB图像深度补全得到深度图；S4：对RGB图像信息进行ORB特征点提取；S5：将S4提取的特征点与S3得到的深度图结合，根据深度值z的有效范围判断是否存在好的特征点，若有，执行S6；若没有，继续读取下一帧RGB图像并重复S2至S5步骤。本发明的图像与激光数据融合的机器人导航三维语义地图生成方法能够提高机器人定位精度和三维点云重建质量；能够为机器人的定位及导航提供高质量三维地图。

技术领域

本发明涉及计算机视觉和机器人智能驾驶技术领域，更具体地说，它涉及一种图像与激光数据融合的机器人导航三维语义地图生成方法。

背景技术

移动机器人在未知复杂的环境中自主定位和地图构建(SLAM)技术是完成环境感知、路径规划、人机交互等复杂任务的基础。移动机器人SLAM技术主要应用在无人驾驶车、无人机、搬运机器人、送餐机器人、导览机器人、扫地机器人等领域。由于在实际应用的室内和户外环境中，移动机器人容易遇到动态物体干扰、复杂等等运行环境问题，所以需要对动态环境下移动机器人定位和建图进行研究。

目前大多数视觉SLAM方案中所采用的图像特征的语义级别太低，可区别性弱，构建的点云地图不能区分不同的物体。这样的点云地图包含信息量少，再利用性非常有限。传统的点云地图中，移动机器人不能识别出一块块的点云是什么物体，但语义地图能够很好的表示出移动机器人所在的场景，能够识别出街道中的交通标志、车行道、人行道等。语义地图的构建对移动机器人的环境理解和后续的路径规划有着重要作用。

发明内容

为解决上述技术问题，本发明提供一种图像与激光数据融合的机器人导航三维语义地图生成方法，采用视觉与激光融合的方法对环境进行三维重建，然后基于Mask R-CNN来对二维场景图像进行语义识别，采用识别的语义信息和视觉与激光恢复的深度图对场景进行三维语义重建。三维语义地图能够很好的表示出移动机器人所在的场景，识别出街道中的交通标志，车行道、人行道等，对移动机器人的环境理解和后续的路径规划有着重要作用，并能有效解决复杂动态环境对SLAM技术的困扰。

本发明的上述技术目的是通过以下技术方案得以实现的：

图像与激光数据融合的机器人导航三维语义地图生成方法，包括以下步骤：

S1：获取图像数据序列和激光雷达数据序列；

S2：读取图像序列中的一帧RGB图像，读取同一时刻激光帧数据；S3：通过双边滤波后进行上采样处理，将激光数据与RGB图像深度补全得到深度图(Depth Image)；

S4：对RGB图像信息进行ORB(Oriented Brief)特征点提取；

S5：将S4提取的特征点与S3得到的深度图结合，根据深度值z的有效范围判断是否存在好的特征点，若有，执行S6；若没有，继续读取下一帧RGB图像并重复S2至S5步骤；

S6：判定S5有对应深度值的当前帧图像是否为关键帧，若是，则恢复关键帧深度图，并执行S7；若不是，则计算当前帧的位姿，并重复S2至S6步骤；

S7：将关键帧的位姿和深度图对应，恢复当前关键帧的三维点云；S8：对S7获取的三维点云进行滤波过滤噪声点的操作；

S9：判定是否存在下一帧RGB图像，若存在，重复S2至S9步骤；若不存在，执行S10；

S10：将当前点云与历史点云叠加，并对最终得到的点云进行滤波操作减少点云数量；

S11：生成当前时刻的三维点云；