[发明专利]一种基于动态聚合的三维点云语义分割方法及系统

说明书

本发明涉及一种基于动态聚合的三维点云语义分割方法，该方法通过构建包括采样模块、级联的动态聚合模块构成的编码器和特征传播模块构成的解码器的三维点云语义分割模型，通过动态聚合模块对采样模块输出的点云数据进行特征动态聚合输出特征图，并通过特征传播模块传输至全连接层，输出类别。与现有技术相比，本发明具有语义分割精度高的优点。

技术领域

本发明涉及图像处理领域，尤其是涉及一种基于动态聚合的三维点云语义分割方法及系统。

背景技术

近年来，随着深度传感器硬件和深度学习技术的发展，基于深度学习的三维点云语义分割技术逐渐成为了研究的热点，并且广泛应用于自动驾驶、三维场景重建、机器人等方面。

三维点云数据通常是由激光雷达等3D扫描设备获得的一系列点的集合，其中包含三维空间信息(空间中X、Y、Z坐标)，还可能还有物体信息(如颜色、强度值)、反射值等特征。三维点云数据表示形式简单、紧凑、信息丰富，因此在三维深度学习中作为主流三维数据被广泛采用。但是三维点云数据也有相对应的缺点，如相比于二维数据的稀疏性、无序性和非结构化，这些问题也使得关于三维点云的研究面临巨大的挑战。

三维点云语义分割是指对输入的每一个点云数据，分配一个类别，进而分割三维场景中的每个物体。目前主流的语义分割范式多层感知机与编码器-解码器架构相结合，在编码器阶段首先使用采样算法若干选取局部区域，然后利用共享权重的多层感知机提取每个区域中三维点云数据的特征，利用对称函数聚合局部特征并缩小分辨率，最后将所有局部区域重新组合为整体，重复上述步骤并逐步减小分辨率；在解码器阶段，利用插值的方式逐步扩展到高分辨率的特征空间中，最后得到一个密集的预测结果。这一方式相比于早期将三维点云数据手工转换为体素网格或多视角图像，具有特征损失小，计算量少的优点，速度快的优点。但仍然具有如下不足：

1)多层感知机的权重共享导致特征的提取能力有限，这限制了模型捕获大规模场景中空间语义信息的能力。

2)三维点云数据相比二维图像更为稀疏，直接对原始三维点云数据训练，其语义特征的权重变化不稳定，影响模型性能；

3)在编码器中，聚合操作通常采用选取非学习的最大值、平均值等方式选取每个局部区域的代表特征，局部区域内的语义特征捕捉能力不足，还有巨大的性能提升空间。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供了一种语义分割精度高的基于动态聚合的三维点云语义分割方法及系统。

本发明的目的可以通过以下技术方案来实现：

根据本发明的第一方面，提供了一种基于动态聚合的三维点云语义分割方法，该方法包括以下步骤：

步骤S1、获取原始点云数据集并进行预处理；

步骤S2、构建三维点云语义分割模型，包括采样模块、级联的动态聚合模块构成的编码器和特征传播模块构成的解码器；通过动态聚合模块对采样模块输出的点云数据进行特征动态聚合输出特征图F_out，并通过特征传播模块传输至全连接层，输出类别；

步骤S3、通过三维点云语义分割模型的损失函数及优化器，对三维点云语义分割模型进行训练优化，逐步调整网络参数；

步骤S4、使用验证集对当前三维点云语义分割模型的性能进行评估，如果性能优于之前保存的最佳模型的性能，则保存当前模型为最佳模型，否则重复步骤S2～S3直至训练轮次达到最大训练轮次epoch；得到训练后的三维点云语义分割模型；

步骤S5、将测试集输入至训练后的三维点云语义分割模型中，获得每个点的类别预测，得到最终的分割结果。

优选地，所述步骤S1具体为：