[发明专利]一种3D点云语义分割的方法、装置及系统

说明书

本发明提供一种3D点云语义分割的方法、装置及系统，用于解决现有技术中存在的无法对3D点云语义进行有效分割的技术问题，所述方法包括：分别获取待检测的RGB图像及与RGB图像对应的第一3D点云，采用预训练模型对RGB图像中的物体进行检测与判断，确定检测到的物体是否为指定类型物体；若是，则从第一3D点云中获取第二3D点云，并移除第二3D点云中的地面点云；对移除地面点云后的第二3D点云进行3D聚类，获取点云片集合；确定检测到的物体的3D点云所含点数的最大值和最小值，从点云片集合中过滤出包含点数在最大值和最小值之间的目标点云片；确定目标点云片中所含点数最多的点云片为检测到的物体的3D语义点云。

技术领域

本发明涉及计算机视觉技术领域，特别涉及一种3D点云语义分割的方法、装置及系统。

背景技术

近年来，随着激光雷达、三原色深度(Red Green Blue–Depth，RGB-D)相机等3D传感器在机器人、无人驾驶领域的广泛应用，深度学习在3D点云数据的应用已经成为研究热点之一。3D点云是指在一个三维坐标系统中的一组向量的集合，这些向量通常以x，y，z三维坐标的形式表示，一般用来代表一个物体的外表面形状，另外，除了(x，y，z)代表的几何信息外，可能还含有RGB颜色、强度、灰度值，深度或者返回次数等信息，而3D点云语义分割是指将3D点云划分为语义上有意义的部分，然后在语义上将每个部分标记为预定义的类之一，即分割3D点云，区分出不同的分割物。

目前，常见的3D点云语义分割方法通常是将3D点云转换为手工体素网格特征或者是多视角的图像特征，然后送入深度学习网络进行特征提取，这样转换特征的方法不仅数据量大、而且计算复杂，如果降低分辨率，则分割精度会下降。

鉴于此，如何对3D点云语义进行有效分割，从而提高分割精度是研究的重点。

发明内容

本申请实施例提供一种3D点云语义分割的方法、装置及系统，用于解决现有技术中存在的无法对3D点云语义进行有效分割的技术问题。

第一方面，为解决上述技术问题，本申请实施例提供一种3D点云语义分割的方法，该方法的技术方案如下：

分别获取待检测的RGB图像及与所述RGB图像对应的第一3D点云，采用预训练模型对所述RGB图像中的物体进行检测与判断，确定检测到的物体是否为指定类型物体，其中，所述预训练模型为根据快速区域卷积神经网络Faster R-CNN生成的目标检测模型；

若是指定类型物体，则从所述第一3D点云中获取第二3D点云，并移除所述第二3D点云中的地面点云，其中，所述第二3D点云与所述RGB图像中所述检测到的物体的目标检测框对应；

对所述移除地面点云后的第二3D点云进行3D聚类，获取点云片集合，其中，所述点云片集合包括至少一个点云片，所述点云片表示不同类型的物体的3D点云；

确定所述检测到的物体的3D点云所含点数的最大值和最小值，从所述点云片集合中过滤出包含点数在所述最大值和最小值之间的目标点云片；

从所述目标点云片中获取所含点数最多的点云片，确定所述所含点数最多的点云片为所述检测到的物体的3D语义点云。