[发明专利]基于跨模态语义增强的非结构化环境点云语义分割方法

说明书

本发明提出基于跨模态语义增强的非结构化环境点云语义分割方法，该方法针对当前大部分点云分割算法缺乏图像纹理色彩等语义信息且在非结构化环境下难以同时满足准确性和实时性要求的问题，构建了图像、激光雷达深度融合的非结构化环境语义分割网络，步骤如下：首先设计一种基于球面投影的点云分割模块，其次设计一种基于残差跨层连接的图像分割模块，接着设计一种基于GAN的二维伪语义增强模块以弥补点云缺失的色彩纹理等语义信息，最后利用样本集对网络进行训练，获得网络参数，从而实现非结构化环境三维点云语义的高效与可靠分割。

技术领域

本发明涉及智能车辆环境感知技术领域，具体为基于跨模态语义增强的非结构化环境点云语义分割方法。

背景技术

三维场景理解是地面无人系统领域的关键技术，是实现结构化及非结构化环境下安全可靠通过的前提条件。目前较为成熟的技术主要针对城市结构化环境进行设计，针对非结构化环境(例如应急救援场景)的研究较少，技术尚不成熟。在非结构化环境中，没有车道、路面、护栏等结构特征，可行驶区域边界模糊、纹理多样；同时，受到地形、灌木等植被影响，障碍物特征复杂多变且存在遮挡、缺失情况。因此，现有的针对结构化环境设计的算法难以直接应用于非结构环境。

目前，基于深度学习的语义分割任务多采用相机和激光雷达作为其主要的传感数据输入来源。基于相机的非结构化环境语义分割方法，使用的颜色或纹理特征易受光照和天气的干扰，同时三维结构信息的缺失也限制了此类算法在不同场景的适应性。基于激光雷达的语义分割算法，由于点云数据的稀疏性、无序性、分布不均匀性，以及所依赖的的深度和几何信息过于单一，难以区分低分辨率或是具有相似几何特征的物体。而基于图像、雷达融合的方法(输入级、特征级、决策级融合)高度依赖于各输入信号的质量或已有的先验知识，无法适用于复杂多变的非结构化场景。因此，需要提出一种鲁棒的方法来融合不同传感器模态数据以实现非结构化环境的高精度有效三维语义分割。

发明内容

为解决上述存在的问题，本发明提供基于跨模态语义增强的非结构化环境点云语义分割方法。该方法首先设计一种基于球面投影的点云分割模块，其次设计一种基于残差跨层连接的图像分割模块，接着设计一种基于GAN的二维伪语义增强模块，最后利用样本集对网络进行训练，获得网络参数，从而实现非结构化环境三维点云语义的高效与可靠分割。本发明提出的方法使用球面投影，在降低索引和计算时间的同时，相比其他投影方法(例如鸟瞰图投影)可以生成更为紧凑密集的数据，有利于深度神经网络对于点云特征的提取；残差结构及扩张卷积的使用，不仅降低了网络结构的复杂度，还可以从网络不同深度的融合特征中挖掘出更多有效信息，从而保证该网络同时兼顾点云分割的准确性和实时性；使用GAN风格迁移算法，使得图像和点云间的特征信息相互学习，将点云分割网络的语义特征转换为图像语义特征并作为点云分割网络的语义增强信息，可以弥补其缺失的色彩纹理等关键语义信息，实现点云和图像特征的深度融合；在测试阶段仅采用激光雷达传感器进行场景的语义分割，在不受光照和天气干扰的同时，兼顾图像包含的语义特征信息，提高了分割算法的鲁棒性。总体设计方案和网络示意图如图1、图2所示，包含如下步骤：

(1)基于球面投影的点云分割模块设计；

子步骤1：雷达点云预处理

激光雷达的数据点坐标系OXYZ是以雷达中心为原点，载体前进方向为OX轴，按右手定则建立；方位角和顶角θ的计算公式如下：

其中，(x,y,z)为雷达点云中每一个点在欧式坐标系下的坐标；对于点云中的每一个点都可以通过其(x,y,z)计算其即将欧式坐标系中的点投影到球面坐标系中；此球面坐标系实则是一个二维坐标系，对其角度进行微分化从而得到一个二维的直角坐标系：

其中，xi、xj为二维直角坐标系的横、纵坐标，Δθ分别对应θ的分辨率；