[发明专利]基于图卷积的城市场景激光LiDAR点云语义分割方法

说明书

本发明属于计算机视觉技术领域，公开一种基于图卷积的城市场景激光LiDAR点云语义分割方法，包括：利用基于KNN算法的图注意力卷积进行建模，通过注意力机制为不同邻节点分配不同权重，更好地聚集邻域信息；对NetVLAD算法进行改进，提出NetVLAD++算法，应用于城市场景三维地物目标的语义标识和精准提取，通过充分提取点云特征，更好地融合了局部特征和全局上下文特征，提高了网络模型分割效果；将NetVLAD++算法和基于KNN算法的图注意力卷积模型进行融合，构成一个完整的网络模型进行端到端的训练，使用训练好的模型对城市场景激光点云进行语义分割。本发明提高了城市场景点云语义分割的精度和效果。

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种基于图卷积的城市场景激光LiDAR点云语义分割方法。

背景技术

随着卷积神经网络技术的迅速出现，基于深度学习的语义分割精度得到了大幅度提高。深度学习已经广泛应用于二维图像的处理中，但由于三维点云数据的不规则性、无序性等特点，使其在点云语义分割上的应用仍面临着诸多挑战。目前，基于深度学习技术的三维点云语义分割方法按照数据的表现形式可分为间接基于点云的方法和直接基于点云的方法。间接基于点云的方法是将不规则点云转化为规则的结构(包括投影、体素和多视图等)，然后将转化后的数据作为网络模型的输入。该类方法可以很好地弥补卷积神经网络难以处理点云数据的缺陷，但其在转换过程中会不可避免地造成一些重要的信息的损失，因此研究者们提出了直接基于点云的方法，最具代表性的是斯坦福大学Qi提出的PointNet和PointNet++。PointNet成功解决了点云的无序性，但由于PointNet中每个点的特征都是独立学习的，因此无法捕获点之间的局部特征来提取细粒度特征。为了解决这一问题，PointNet++方法以层次结构特征来学习点云的特征，通过加深网络层，使得局部特征更加精确，但是由于其网络结构设计复杂，所以导致运算复杂度过高。

针对PointNet和PointNet++的不足，许多网络也对其进行了改进。受2D图像中使用的尺度不变特征变换的启发，PointSIFT网络通过一个方向编码单元对八个方向的信息进行堆叠和编码，然后将各个编码层获取的信息进行联合，最终得到了点的空间特征。由于增加了参数，使得该方法计算量增大；同时，其所提取的局部特征对于方向也过于敏感。Thomas等人提出了一种适用于点云的扩张卷积网络，该网络的核心部分为KPConv，取半径邻域内的点作为输入，根据空间内的点到中心的欧式距离计算每个点与其相邻点之间的权重，利用核点卷积得到每个点的新特征，其中，中心点的选取根据点在空间的位置进行特殊处理得到。由于KPConv中核点数是可以任意设置的，它比逐点卷积等固定卷积核的方法更灵活。为了加强点云之间的特征联系，Engelmann等人在PointNet的研究基础上，设计出一种将点云块分组处理的方法。首先使用多尺度块和网络块获得输入级上下文，然后将PointNet提取的逐块特征依次做合并或循环合并，以获得输出级的上下文。循环合并能够将有关场景的信息保留，很好地提升学习效率，但该方法学习到的局部特征不足。为了更好的解决局部几何特征提取不充分以及相邻点之间的关系信息获取不足的问题，3P-RNN利用逐点金字塔池化捕获不同尺度的局部上下文信息，并使用双向分层RNN融合更大范围的空间相关性数据。该方法在室内外点云数据集上均取得了较好的效果，泛化能力强，但其对于一些相似的语义类(如门和墙)的区分有限。RSNet受到PointSIFT的启发,提出了一种将切片池化层、循环神经网络(Recurrent Neural Network，RNN)层和切片反池化层组合的轻量级局部依赖性建模模块。该方法将输入的无序点云特征从x、y、z三个方向切片，利用切片池化层将无序点特征集转换为特征向量序列并提取特征，采用双向RNN学习切片间的相关性，最后利用切片反池化层将序列中的特征分配回各个原始点。虽然该方法对于一些平面目标(如桌子等)有较高的分割精度，但将点云切片化会严重影响对点之间相互关系的学习，同时也没有明确每个点的局部特征学习邻域。