[发明专利]一种基于多传感器融合的实时动态语义建图方法与系统

说明书

本发明公开了一种基于多传感器融合的实时动态语义建图方法与系统，包括：提取彩色图像序列中每一帧彩色图像的特征点，得到第一特征点集，通过语义分割网络对彩色图像序列和深度图像序列逐帧进行语义分割，得到各帧的语义分割结果；通过动态物体分割网络对事件帧序列逐帧进行动态物体分割，得到各帧的动态物体区域，基于第一特征点集去除各帧动态物体区域内的特征点，得到第二特征点集；将第二特征点集中的每一帧与前一帧的特征点进行特征匹配，并结合非线性优化方法得到全局最优相机位姿序列；基于语义分割结果、全局最优相机位姿序列和深度图像完成语义八叉树建图。本发明显著提高语义建图的准确性和实时性。

技术领域

本发明属于语义建图技术领域，具体涉及一种基于多传感器融合的实时动态语义建图方法与系统。

背景技术

视觉SLAM是以图像作为主要环境感知信息源的SLAM系统，可应用于无人驾驶、增强现实等应用领域，是近年来的热门研究方向。典型视觉SLAM算法以估计摄像机位姿为主要目标，通过多视几何理论来重构3D地图。为提高数据处理速度，部分视觉SLAM算法是首先提取稀疏的图像特征，通过特征点之间的匹配实现帧间估计和闭环检测。ORB特征凭借其较好的鲁棒性和较优的区分能力以及快速的处理速度，在视觉SLAM领域受到广泛应用。

深度学习算法是当前计算机视觉领域主流的识别算法，其依赖多层神经网络学习图像的层次化特征表示，与传统识别方法相比，可以实现更高的识别准确率。同时，深度学习还可以将图像与语义进行关联，与SLAM技术结合生成环境的语义地图，构建环境的语义知识库，供机器人进行认知与任务推理，提高机器人服务能力和人机交互的智能性。

语义SLAM的关键在于对环境中物体目标的精准识别，而近年兴起的深度学习技术恰好是当前最具潜力和优势的物体识别方法，因此深度学习和语义SLAM的结合受到领域内研究者的广泛关注。语义信息生成的挑战在于精确的物体目标级别或像素级别的分类。

八叉树地图是一种在导航中比较常用，且本身有较好的压缩性能的地图形式。点云地图通常规模很大，一幅640像素×480像素的图像，会产生约30万个空间点，需要大量的存储空间。而且重要的是，它的大并不是必须的，点云地图提供了很多不必要的细节，例如地毯上的褶皱，阴暗处的影子等。在八叉树中，在节点中存储它是否被占据的信息。当某个方块的所有子节点都被占据或都不被占据时，就没必要展开这个节点。是一种灵活的、压缩的、又能随时更新的地图形式；当限制八叉树为10层时，总共能建模的体积大约为8的10次幂立方厘米，也就是1073立方米，这足够建模一间屋子。

一般环境通常分为动态环境和静态环境，不像静态环境只有静态对象，动态环境有一些可以自主移动的目标，如人、动物、车辆等。目前大多数的视觉SLAM系统都可以在静态环境中获取特定的姿态和地图。但在具有动态对象的场景中，其定位和映射能力较弱。因为移动的物体会极大地干扰结构和定位。近年来，一些可视化SLAM解决方案与语义网络相结合，取得了很好的效果。

例如公开号为CN112132897A的中国专利文献，但其存在以下缺点：

(1)在语义分割上仅采用了基于RGB图像的CNN网络，没有结合深度信息。且网络较大，不适合在计算量有限的NX板上进行。

(2)通过计算每个关键特征点和投影的深度值之差和视差角是否大于阈值来判断动态物体，在过滤动态物体的同时还可以将静止的人过滤掉。但该方法在实际运动过程中，尤其是光线不稳定时会产生不同程度的误差；且动态目标易产生运动模糊和重影，影响特征提取，相机位姿计算和动态物体区域分割。

(3)需要基于语义分割的mask来判断动态物体区域。但是语义分割的类别必须是事先训练过的，如果出现未知类别的运动物体，语义分割并不能把它分割出来，进而很难用mask来判断动态物体区域；会影响到动态区域内特征点的去除，进而影响相机位姿的计算。

发明内容

本发明的目的之一在于提供一种基于多传感器融合的实时动态语义建图方法，提高语义建图的准确性和实时性。