[发明专利]一种基于语义逆深度滤波的实时语义地图构建方法

说明书

一种基于语义逆深度滤波的实时语义地图构建方法，包括以下步骤：(1)通过相机视觉传感器采集图像，并对采集到的图像进行ORB特征提取和语义分割；(2)针对步骤(1)中提取的ORB特征和语义分割结果，通过融合了语义逆深度滤波的跟踪线程得到动态场景下的相机位姿，并筛选出关键帧；(3)根据步骤(2)中得到的相机位姿和关键帧创建点云，并根据语义分割结果删除动态点，实时构建动态场景下的稠密点云模型。本发明利用基于深度学习的语义逆深度滤波技术赋予了地图语义信息，并通过语义信息的辅助建图提高了稠密重建地图的精度，增强了机器人对自身所处环境的理解；本发明相比于传统的基于静态世界假设的地图构建技术应对动态场景能力更强，对动态场景的实时稠密重建效果好。

技术领域

本发明涉及一种基于语义逆深度滤波的实时语义地图构建方法，适用于动态场景下实时构建语义地图任务。

背景技术

地图构建技术在军事，探测，无人驾驶，机器人等领域都有着广泛应用，近几年该项技术在移动机器人、无人驾驶等领域发展尤为迅速。能够实时构建地图，赋予地图语义信息是现阶段地图构建技术的重点研究方向，具有十分重要的意义。机器人在没有环境先验信息的情况下，通过获取的传感器数据，估计机器人自身的位姿，同时构建一个全局一致的环境地图，即同时定位与地图构建(SLAM)技术。其中，基于视觉传感器的SLAM系统被称为视觉SLAM。在实际应用层面，视觉SLAM系统可以用来实现各种各样的需求，包括定位、重建展示、导航避障以及实现机器与环境的交互等。为了实现这些需求，视觉SLAM系统需要构建不同形式的地图。然而传统视觉SLAM系统为了满足定位需求建立了稀疏点云地图，难以满足自动驾驶，人机交互等复杂任务。随着机器人应用领域不断拓展、应用层次不断深入,高度智能化已成为机器人发展的必然趋势，能否理解环境的语义特征是实现人机交互、减小认知鸿沟、完成复杂工作的前提。但常规的地图构建方法缺乏环境语义信息，严重制约了其理论发展与实际应用。除此之外，传统地图重构技术应对动态场景的能力也较差，在实际使用时场景内的动态物体会对场景产生随机的遮挡，然而传统方法不能分辨出场景内物体的动、静状态，依旧会按照传统的静态世界假设构建地图，这就使得场景内动态物体在地图中留下一系列运动轨迹残影，严重影响人类视觉体验，也严重干扰了移动机器人对自身所处环境情况的判断。

发明内容

为了解决以上问题，本发明克服现有技术不足，针对动态场景实时建图问题，结合了基于深度学习的语义逆深度滤波技术，提供一种基于语义逆深度滤波的实时语义地图构建方法，改善动态场景下的实时三维重建效果，提高动态场景下稠密点云建图精度，为人类视觉上提供更加丰富的信息。本发明能较好地解决现有地图构建方法中存在的环境语义特征缺失、难以面向动态场景精确建图等问题，基于语义逆深度滤波的实时语义地图构建方法赋予了三维地图语义信息，提升了建图精度，在动态场景下能够实时构建稠密点云地图，解决了动态目标对场景的遮挡问题，提升了动态场景稠密建图的视觉体验。

本发明的技术解决方案为：一种基于语义逆深度滤波的实时语义地图构建方法，实现步骤如下：

一种基于语义逆深度滤波的实时语义地图构建方法，包括以下步骤：

步骤(1)通过相机视觉传感器采集图像，并对采集到的图像进行ORB特征提取和语义分割；

步骤(2)针对步骤(1)中提取的ORB特征和语义分割结果，通过融合了语义逆深度滤波的跟踪线程得到动态场景下的相机位姿，并筛选出关键帧；

步骤(3)根据步骤(2)中得到的相机位姿和关键帧创建点云，并根据语义分割结果删除动态点，实时构建动态场景下的稠密点云模型；

进一步的，所述步骤(1)中，视觉传感器采集图像，并对采集到的图像进行ORB特征提取和语义分割方法如下：