[发明专利]基于神经网络的半监督三维点云语义分割方法

说明书

本发明属于深度学习、计算机视觉技术领域，具体为一种基于神经网络的半监督三维点云语义分割方法。本发明采用半监督学习范式，结合三维点云语义分割网络模型，构成整个半监督三维点云语义分割方法框架；分割网络模型分为学生网络和教师网络，两个网络采样相同的SSCNs网络；学生网络的输入为未经过变换的原始点云，教师网络的输入为变换后的点云；学生网络的有标注部分的输出由其对应的标注进行监督，同时学生网络和教师网络的整体输出进行一致性监督，以此来更新学生网络的权重，教师网络的权重由学生网络的权重进行指数滑动平均得到。实验表明，使用带有标注数据和未标注数据的半监督学习，网络的性能在每一个标注率上都有明显的提高。

技术领域

本发明属于深度学习、计算机视觉技术领域，具体涉及一种三维点云语义分割方法。

背景技术

近年来，深度学习在多种计算机视觉任务上都取得了出色的表现，特别是图像领域。然而，对于一些具有实际意义的应用比如自动驾驶、虚拟现实、增强现实来说，需要获取比单纯的图片更丰富的信息以实现更好的场景理解。由激光雷达或者RGB-D深度相机采集得到的三维数据是对二维图片数据的一个良好补充，这些三维数据的表现形式通常为点云。三维点云由大量具有三维坐标和颜色的点组成，是一种直观的三维数据格式，与二维图像相比，三维点云包含丰富的环境空间信息，更有助于场景理解，已经成为许多三维视觉分析任务的主要表示形式。

在所有的三维视觉分析任务中，点云语义分割是三维场景理解中必不可少的关键任务。近年来，点云语义分割取得了很大的进展，但现有方法都是用全监督学习方式进行训练的，严重依赖于大量精细标注的数据，既昂贵又耗时。此外，与分类和检测任务相比，语义分割需要密集的点级标注，耗时更长，成本更高。例如，一个室内场景的点往往可以达到百万的数量级，标注需要几个小时。半监督学习是一种减少数据标注成本的方法，它可以利用少量标记数据加上大量未标记数据来提高现有模型的性能。在许多领域，标签只能由相关领域的专家给出，而未标记的数据可以很容易地获得。与全监督学习不同，半监督学习的方法可以通过添加额外的未标记数据进行训练来提高性能，是一种克服数据饥饿的新方法。

下面简要介绍一些关于半监督学习和点云语义分割的相关算法。

1、半监督学习

半监督学习的算法大致可以分为三类：基于生成对抗网络(GAN)的方法、熵最小化的方法和一致性正则的方法。对于GAN生成的方法，[1]生成了额外的标注数据来进行网络的训练，[2]训练了一个判别器来约束预测和标签之间的差别；对于熵最小化的方法，[3]通过最小化未标注数据的熵损失来实现对未标注数据的利用，[4]根据对未标记数据的高置信度预测构造一个伪标签来实现隐式的熵最小化；对于一致性约束的方法，[5]将不同图像截取块作为输入，然后强制它们的预测一致，Mean Teacher模型[6]由两个相同结构的教师分支和学生分支组成，学生分支的参数由优化器更新，而教师分支的参数来自学生网络参数的指数移动平均，Mean Teacher由于简单而有效的架构，它一直是一致性正则化方法最常见的结构，在这项发明中，我们也选择mean teacher架构作为我们点云语义分割任务的但监督范式。

2、点云语义分割

现有的点云语义分割方法可以分为两类：基于点的方法和基于投影的方法。基于点的方法以原始点云为输入，但很难处理非结构化和无序的点云。PointNet[7]利用多层共享的感知机和变换矩阵模块进行点级特征学习，然后使用对称函数进行全局特征学习，PointNet++[8]更进一步地引入了特征学习的层次结构，因此它可以为每个点学习更准确的局部纹理特征和更丰富的局部结构信息；基于投影地方法通常将无序点云转换为中间正则的表示，然后将正则表示输入主干网以进行特征提取，[9]首先将点云投影到合成的二维图像上，然后可以通过2D-CNN方法学习图像特征，通过融合图像特征获得最终的语义分割结果并将其投影回点云上，[10]使用范围图像作为中间表示，并提出了一种新的后处理算法来克服离散化所引起的问题。SSCNs[11]首先对输入的点云进行体素化，并提出一种新的稀疏卷积的方法来缓解点云计算负担大的问题。

发明内容