[发明专利]一种基于动态滤波和逐点相关的点云实例语义分割方法

说明书

本发明涉及一种基于动态滤波和逐点相关的点云实例语义分割方法，不同于现有技术中的点云实例语义联合分割方法，通过动态滤波将点云的空间几何位置信息和密度信息都置于可学习的范围内，所学习到的滤波器可以更少的资源消耗捕捉点云的动态信息。进一步地，本方法中的逐点相关可分别从全局和局部去建模点云的空间相关和通道特征相关，从而有效的增强所提取的点云特征的判别力，进一步提升点云分割的准确率。基于动态滤波和逐点相关的三维点云实例语义分割方法，不仅能很好的捕获点云的空间和密度信息，并且能够分别从全局和局部对点云的空间相关和通道特征相关进行建模，从而实现更加准确的点云实例语义分割结果。

技术领域

本发明涉及计算机视觉领域，尤其涉及一种基于动态滤波和逐点相关的点云实例语义分割方法。

背景技术

点云实例语义联合分割的主要思想是利用语义特征和实例嵌入特征的优势相互促进，提高语义分割和实例分割的结果。这是因为语义分割和实例分割在某些方面是有共同之处的，例如：属于不同语义类别的点一定是属于不同的实例，属于同一个实例的点也一定属于同一个语义类别。下面将从点云实例语义分割和点云上下文信息建模两个方面对相关背景技术进行介绍。

近年来，基于深度学习的方法已经被广泛应用到点云的处理中。Pham等人提出了一种基于多任务的逐点网络来分别预测点云的语义类别和实例嵌入向量，然后使用一个多值条件随机场作为后处理来生成实例对象。然而，将条件随机场作为卷积神经网络的后处理，很难去探索这两者组合的性能是怎样的，并且该方法也没有对语义分割和实例分割能否相互促进进行研究。同期，Wang等人也提出了一种在点云中联合分割实例和语义的方法。该方法通过全连接层将语义特征转换到实例特征空间和实例特征融合，同时通过K近邻将实例特征聚合到语义特征空间和语义特征进行融合。然而，该方法在训练过程中会生成一个高阶的稀疏矩阵，带来巨大的显存消耗。Liu等人借用半监督的思想将点云样本划分到两个子集中，在给定其中一个子集的标签的情况下使用标签传播算法来预测另一个子集的标签。然而，该方法需要构建稠密图来实现标签从一个子集到另一个子集的传播，当点云中点的数量以及特征维度较大时，构建的稠密图将会变得非常复杂，不利于存储和计算。He等人提出一种记忆增强网络来解决点云分割任务中的类别不平衡和模式不平衡问题，该方法通过学习和记忆具有代表性的覆盖广泛的不同样本的原型来解决所提到的两个不平衡问题。然而，该方法需要存储和记忆大量的不同实例样本的原型，需要消耗更多的显存。

此前的大多数方法仅考虑了中心点及其邻居点的关系，并以此来建模点云中的局部上下文信息。Zhao等人通过使用MLP(Multilayer Perceptron，多层感知机)对局部邻域中所有的点对的边进行加权来建模点云的局部相关性。然而，该方法仅对点云中的局部相关性进行了建模。此外，在计算过程中需要所有的点对的边，带来了巨大的存储和计算开销。Wang等人提出一种基于图的注意卷积来捕捉点云中的结构特征。进一步的，Han等人通过构造一个局部和非局部邻接矩阵来分别对对应区域中的每个节点进行加权，从而实现对点云的局部和全局相关进行建模。然而，该方法仅考虑了空间的逐点相关，而忽略了通道特征上的逐点相关建模。

发明内容

本发明针对现有技术中存在的技术问题，提供一种基于动态滤波和逐点相关的点云实例语义分割方法，采用动态滤波提取点云特征；二是对点云的进行逐点相关建模，并利用语义特征和实例嵌入特征的优势进行互补，进一步提高点云分割的准确率。

根据本发明的第一方面，提供了一种基于动态滤波和逐点相关的点云实例语义分割方法，包括：步骤1，对输入的点云进行预处理和采样得到输入点云；

步骤2，计算点云密度信息，根据点云的几何信息和密度信息生成滤波器；

步骤3，提取点云的实例嵌入特征和语义特征；

步骤4，利用所述语义特征和实例嵌入特征对点云进行逐点相关建模；

步骤5，基于建模结果分别生成点云实例分割结果和语义分割结果。