[发明专利]用于点云分类分割的方法

说明书

本发明公开了一种用于点云分类分割的网络模块、分类及分割网络，所述网络模块包括至少两个依次串联连接的稀疏边卷积层，所述稀疏边卷积层的稀疏率不同且逐渐增大，各个稀疏边卷积层的近邻点的个数相同。本发明的网络模块解决了现有的DGCNN在处理三维物体点云数据时存在的感受野随层数增加而扩大的效率低且存在大量复用信息的问题。

技术领域

本发明涉及计算机视觉与3D点云分类技术领域，特别是涉及一种用于点云分类分割的网络模块、分类及分割网络。

背景技术

随着自动驾驶、室内外场景识别技术的发展，2D图像处理已经无法完全满足我们的需求。对于3D信息，尤其是3D点云的准确高效处理，愈发凸显其重要应用价值。业界在进行点云处理时，面临的挑战主要有：1、数据非结构化：点云是采样点的空间特征，点与点之间没有直接关联，无法像2D图像一样形成网格，无法使用常规的CNN（卷积神经网络（convolutional neural network）方法。2、点云具有无序性：采样点云的顺序，与实际表征无关，相同的场景，可以由无数种不同排列的点云构成，这要求模型能够对点云输入的顺序不敏感。3、点云处理需要具有旋转不变性：当点云发生旋转时，其采样得到的顺序，以及各个点云的特征值相比2D旋转均发生较大变化。如果一个点云的处理方法对进行旋转变换的物体进行识别，那么在真实应用中，这种方法也很难奏效。

图卷积网络（Graph Convolutional Network，GCN）可以将卷积运算从传统数据（例如图像）推广到图（graph）数据，其核心思想是学习一个函数映射，通过该映射图中的节点可以聚合它自己的特征与它的周围节点特征来生成节点的新表示。GCN是许多复杂图卷积网络的基础。Dynamic Graph CNN(动态图卷积神经网络，DGCNN)是使用GCN处理点云的深度学习框架，其在进行逐点的特征提取时，利用每一个节点以及其周围k个节点的特征信息，以此生成一个更抽象的节点，这个过程也称作边卷积（Edge Convolution），依次通过k-1层的边卷积后，使用Dense模块聚合之前所有层的输出得到特征信息，得到更高维度的抽象信息，将这个抽象信息通过多层全连接输出后，即可得到预测标签。主要解决方案如下：1、网络的输入是包含N个点的三维点云（Nx3) ，该输入通过一个3D 空间变换矩阵预测网络T-Net，估计出3x3的变换矩阵T，并与原始数据相乘，实现对于同一数据输入不会因为点的输入顺序不同而造成的网络性能不同，称为数据的对齐，此时数据维度为（Nx6）。2、对齐后的数据通过逐点的操作，将其以及其欧式距离最近的20个点（含自身），依次排列得新的数据（NxKx6，K=20），再通过1x1的卷积核对其进行升维，得到一个NxKx64的数据，经过最大值池化操作后，得到一个Nx64的数据，此步骤称为边卷积。3、四个边卷积层相连，依次经过4次边卷积，得到Nx64，Nx128，Nx128，Nx256的数据，再利用一个Dense模块，将之前4次边卷积产生的数据直接相连，通过一维卷积升维到Nx1024，再通过三层全连接层（参数分别为1024-512，512-256，256-num_class），得到预期的输出。总体来说，DGCNN将图卷积的方法引入点云处理当中，很适合非结构化的数据；并且，其采用的T-net结构，也使得其对于点云的无序性具有一定的鲁棒；DGCNN的主要思想是通过k近邻，捕获每一个点的局部信息，将更多的local特征传递给下一层，并借由不断加深的边卷积，扩大感受野，以实现对于局部信息与全局信息的特征提取。边卷积的操作可以任意叠加，也使得网络的加深成为可能。但是，DGCNN主要存在如下不足：

1、使用边卷积时，每次只对最近的20个点进行边卷积，因此感受野随层数的扩大效果较弱，存在大量的信息复用，这极其不利于感受野的扩大，也使得网络寻找最优解的能力较弱。

2、尽管DGCNN的模块结构具有可重复性，理论上可以不断加深，但是随着层数加深，其过拟合和梯度弥散的问题也暴露了出来，在实际应用中，只使用了简单4层的结构，未能完全发挥出深度学习在采用多层深度结构下的寻求最优解的能力。

发明内容

为了弥补上述现有技术的不足，本发明提出一种用于点云分类分割的网络模块、分类及分割网络。