[发明专利]一种基于双级别精细化特征的点云分割方法

说明书

本文公开发明了一种基于双级别精细化特征的点云分割方法，包含点云数据处理，点云分割网络模型训练，点云数据测试。其中，点云分割网络模型包括：点云输入、点云编码、基于点的精细化特征提取、特征传播、基于点簇的特征增强、特征聚合、分割；点云数据测试，即输入测试集的点云数据到训练好的分割模型中得到分割结果。本发明通过基于点和簇的双级别的精细化特征来丰富点云空间几何信息和语义特征信息，解决局部特征提取不够精细化以及对于稀疏点云分割效果较差的问题。

技术领域

本发明涉及计算机视觉、三维点云分割技术领域，特别涉及一种基于双级别精细化特征的点云分割方法。

背景技术

随着三维点云采集技术的迅速发展，三维点云在在机器人操作、自动驾驶、增强现实和虚拟现实等方面具有广泛应用。由于点云的结构简单，并且能更多的保留物体的原始信息，近年来许多研究尝试将卷积神经网络推广到三维点云，但是与规则的二维图像不同，三维点云是非结构化，无序且离散分布的，这些特性使得传统的卷积神经网络很难直接应用于点云数据。现有的基于深度学习的三维点云处理方法可以分为以下几种类型：基于投影的方法，基于体素的方法和基于点的方法。

基于投影的方法是以激光雷达点云和RGB图像为输入，使用紧凑的多视图表示对稀疏的3D点云进行编码，预测定向三维边界，这种方法解决了点云难以处理的问题。然而，在这种方法中，在投影过程中经常会损失点云内部的几何信息。

基于体素的方法是通过将3D点云投影到规则的三维网格上，再由三维卷积来处理。然而，由于体素数量随分辨率的立方增长，这种方法可能会带来巨大的计算和内存成本。而且由于量化到体素网格上，仍然面临丢失点云几何细节信息的问题。

基于点的方法直接对点进行处理，不引入中间表示，避免丢失原始几何点云信息。但是现有的基于点的方法通常只是利用点云坐标信息构建全局或局部信息，而没有考虑为特征空间的点云构建更加丰富的几何形状和语义信息。

发明内容

有鉴于此，针对现有技术的不足，本发明提供了一种基于双级别精细化特征的点云分割方法，该方法直接对点云进行处理，包括点云数据处理、点云分割网络模型训练、点云数据测试。

所述的点云数据处理是将点云数据分成训练集和测试集。

所述点云分割网络模型训练训练集的点云数据输入到网络中进行训练学习，包括以下步骤。

S1：将点云数据进行下采样得到N个点。

S2：将S1中采样得到的N个点输入到点云编码模块进行编码，使其编码到高维特征空间。

S3：将S2中得到的高维特征空间的点云输入到基于点的精细化特征提取模块，提取更加细化的点云几何特征。

S4：将S3中得到的细化的点云几何特征输入到特征传播模块，实现特征的上采样和回传，形成点簇。

S5：将S4中得到的点簇输入到基于簇的特征增强模块，增加点云语义特征信息，得到点云局部特征信息。

S6：将S5中得到的局部特征信息通过最大池化操作聚合得到全局特征信息。

S7：将S5中得到的局部特征信息、S6中得到的全局特征信息，和引入的一个one-hot特征向量进行拼接，并通过几个全连接层，输出点云分割的结果。然后重复性训练直至收敛得到训练好的点云分割模型。

优选的，所述步骤S2中点云编码模块是利用多层感知机将点云编码到64维特征空间。

优选的，所述步骤S3中基于点的精细化特征提取模块是利用一个轻量级的几何映射模块为每个点构建空间几何形状信息并利用多层感知机捕捉细化的点云特征。

优选的，所述的一种基于双级别精细化特征的点云分割方法，其特征在于所述步骤S4中特征传播模块是通过上采样和插值的方法进行特征回传，得到点云局部特征。