[发明专利]一种点云的语义分割方法、装置及存储介质

说明书

本发明提供了一种点云的语义分割方法、装置及存储介质，该方法包括：S1，多尺度编解码网络对输入的点云P进行采样，基于采样点划定邻域范围，提取邻域范围内各点的特征，聚合得到每个采样点的聚合特征，进而得到每个点的多尺度特征和语义类别概率分布；S2，圆环卷积网络根据半径范围将输入的点云P_t划分成多个圆环，获取各圆环的特征，采用3D稀疏卷积和点体素索引表来得到每个点的特征，进而获得语义类别概率分布；S3,针对点云P_t中的每个未标注点，取每个未标注点的语义类别概率分布中的最大值作为该未标注点更新后的伪标签。利用上述技术方案，可以提高数据利用效率，减少对三维点云标注数据的依赖。

技术领域

本发明涉及计算机视觉领域，特别是涉及一种点云的语义分割方法、装置及存储介质。

背景技术

三维点云语义分割是环境感知的重要任务。然而，三维点云数据标注的成本是巨大的。大部分现有的、基于深度学习的语义分割方法依赖于完全标注的点云数据，仅极少部分研究专注于无监督或者弱监督点云语义分割。现有弱监督语义分割方法大致可以划分为三类：一致性正则化方法、伪标签方法以及对比预训练方法。这些方法各自有优势，但是仍然存在一些缺陷。例如：部分方法涉及多阶段预训练，与端到端方法相比增加了训练的难度；没有充分提取点云的领域特征以及语义特征；没有充分利用已标注数据去辅助网络学习未标注数据特征等。

发明内容

本发明的实施例提供了一种点云的语义分割方法、装置及存储介质，以减少对三维点云标注数据的依赖，能够使用较少量的标注数据来实现弱监督语义分割。

为了实现上述目的，一方面，提供了一种点云的语义分割方法，其中，包括：

S1，多尺度编解码网络对输入的第一点云P进行采样，其中，P＝{P_G，P_P}，P_G为标注点形成的点云，P_G中点的数量小于预定的数目，P_P为未标注点形成的点云，P_G中的点具有真实标签，P_P中的点具有即时生成的伪标签，基于每个采样点划定邻域范围，在邻域范围内采用点Transformer的方式提取邻域范围内各点的特征，然后将邻域范围内各点的特征聚合到每个采样点，得到每个采样点的聚合特征，并基于聚合特征得到点云P中每个点的多尺度特征和点云P中每个点的语义类别概率分布其中，i表示第i个点；

S2，根据预设的半径范围，圆环卷积网络将输入的第二点云P_t划分成多个圆环，获取各圆环的特征，采用3D稀疏卷积来提取各圆环的体素特征，并通过点体素索引表将体素特征投影到点云P_t的每个点来得到逐点特征并进而获得点云P_t中每个点的语义类别概率分布其中，i表示第i个点；其中，圆环为三维圆环，点云P_t与点云P相同或为由点云P经过预定变换获得的点云；

S3,针对点云P_t中的每个未标注点，取每个未标注点的语义类别概率分布中的最大值作为该未标注点更新后的伪标签，其中更新后的伪标签表示为

其中，多尺度编解码网络和圆环卷积网络预先经过了训练，训练采用的损失函数包括：

和

其中，h(·)代表Jensen-Shannon分歧,m为点云P和Pt中标注点的数量，n为未标注点的数量。

优选地，所述的语义分割方法，其中，点云P_t与点云P中的点一一对应。

优选地，所述的语义分割方法，其中，步骤S2中包括如下获取点云P_t的步骤：

对点云P进行随机角度旋转得到点云P_r；