[发明专利]一种多模态三维点云分割系统和方法

权利要求书

1.一种多模态三维点云分割系统，其特征在于，包括：场景划分单元，对同时包含彩色信息和空间坐标信息的点云场景进行划分；点云位置信息特征提取单元，利用编码器解码器结构得到点云场景中每个点对应的特征以及预测结果；点云颜色信息特征提取单元，同样利用编码器解码器结构得到点云场景中每个点对应的特征以及预测结果；特征融合单元，对前面的位置信息特征提取单元和彩色信息特征提取单元，同时可以得到深层的特征已经最终的预测结果，分别得到其特征之后进行拼接操作，而后送入由多层感知机和激活函数构成的非线性映射中，得到预测结果；决策融合单元，根据前面的三个单元分别得到了三个预测结果，将其相加取平均得到新的预测结果。

2.如权利要求1所述的多模态三维点云分割系统，其特征在于，还包括掩膜矩阵，对预测结果进行过滤屏蔽处理，得到最终的预测结果。

3.一种多模态三维点云分割方法，其特征在于，包括如下步骤：

(1)对收集得到的数据进行预处理，根据点云数据和图片像素之间的对应关系，反投影得到同时带有彩色信息和空间坐标的点云数据，并将整个场景划分为更小的区域；

(2)对每个区域内的点进行采样，将采样得到的点云的位置坐标信息送入点云特征提取网络提取特征并做出预测，特征提取网络包括采样层、组合层以及PointNet层。

(3)将采样得到的点云的彩色信息送入点云特征提取网络提取特征并且做出预测；

(4)将步骤(2)和步骤(3)中提取出的深层的点云特征，通过共享参数的多层感知机以及激活函数构成的非线性映射，对结果进行预测；

(5)将步骤(2)、步骤(3)和步骤(4)中的预测结果求得平均，根据先验信息引入掩膜矩阵，对平均之后的结果进行过滤屏蔽，得到每个点的分类结果，即为整个场景的分割结果。

4.如权利要求3所述的多模态三维点云分割方法，其特征在于，步骤(1)中，对收集得到的数据的划分是将场景划分为1m×1m的块状区域，或者是一定距离为半径的球面区域，对区域内点进行采样，送入框架进行预测。

5.如权利要求3所述的多模态三维点云分割方法，其特征在于，步骤(2)中，组合层通过k近邻，即kNN的方式构建邻接关系，或以某点为中心，选取一定的半径作一个球面，将同在球面内的点赋予邻接关系。

6.如权利要求3所述的多模态三维点云分割方法，其特征在于，步骤(2)和步骤(3)中，存在降采样的过程，降采样通过随机采样的方式实现，使用最远点采样，对于已经选择保留的点，构成一个集合，在剩下的点中选择离这些点最远的点，加入集合。

7.如权利要求3所述的多模态三维点云分割方法，其特征在于，步骤(3)中，对彩色信息进行处理时，在进行邻域选取、局部的特征融合时，仍是利用了该点的空间坐标信息。

8.如权利要求3所述的多模态三维点云分割方法，其特征在于，步骤(4)中，对于点云数据提取的共享参数的多层感知机，通过一维卷积操作实现，每个点对应的特征可以看作是一个一维的信号向量，利用卷积核对其卷积提取特征。

9.如权利要求3所述的多模态三维点云分割方法，其特征在于，对于该场景语义分割任务，是对每个点的分类任务，用以监督的损失函数通常可以选择交叉熵损失函数，或者是负对数似然损失函数。

10.如权利要求3所述的多模态三维点云分割方法，其特征在于，步骤(5)中，使用到的掩膜矩阵过滤掉一些明显的违背事实的预测。