[发明专利]一种基于多层特征金字塔的点云3D物体检测方法

说明书

本发明为一种基于多层特征金字塔的点云3D物体检测方法，该检测方法包括以下内容：在VoteNet网络的基础上，同样是以点云作为输入，在PointNet++骨干网络上产生多层特征金字塔来获得多个点云特征层，这些点云特征层分别配备一个投票模块，获得深度霍夫投票的同时也将其映射到同一个特征空间，然后进行特征融合形成投票簇。通过多层特征的获取以及多层特征信息的合理使用，提高对不同尺寸的物体检测的鲁棒性和准确率。在所搭建的特征金字塔的最下面一层，同时也是点的数量最多的一层进行前背景点分割，根据前背景的得分判定属于该点属于前景点还是背景点，来得到前景点，进一步地提取了这些前景点的特征，来减小杂乱的背景点对检测结果的干扰。

技术领域

本发明属于室内3D物体检测领域，具体涉及一种基于多层特征金字塔的点云3D物体检测方法。

背景技术

随着深度相机和激光雷达等3D传感器的普及，越来越多的3D数据被捕获和处理，这些 3D数据通常是以点云形式。3D点云是三维空间中离散的点，点云数据有着准确的几何信息，而且对光照强度的改变具有鲁棒性。点云的3D物体检测是机器视觉里一项富有挑战性的任务，预测出真实的3D场景下物体的包围框和相应的语义标签对很多任务是至关重要的意义，比如室内机器人导航，机器人抓取等等。2D RGB图像具有高分辨率，而且像素点排列规整和密集，但是3D点云具有稀疏和不规则性，这就导致了2D RGB图像物体检测和3D点云物体检测是两个不同的任务，且由于点云的稀疏性、不规则性和无序性，使得RGB图像中很成功的2D物体检测方法如卷积神经网络(CNNS)难以直接用于处理点云。

这个问题的解决方法迎来了越来越多的关注。随着可以处理点云的深度卷积网络的出现，一些能直接从点云中检测出3D物体的深度学习网络也被提了出来。由于传感器获取的仅仅是在特定视角下目标表面的部分点云，因此场景点云中该目标的中心点很可能在远离任何点云的空间中的任何点，导致该中心点附近的局部特征难以学习，然而投票机制是针对稀疏集合设计的，很自然地适合于点云中定位目标的任务。基于此，Qi等受到广义霍夫投票的启发，提出了端到端3D目标检测网络VoteNet(ICCV,2019)，它将传统的霍夫投票机制转换为由深度网络实现的回归问题。VoteNet从输入中采样一些种子点(seedpoints)来生成对潜在对象中心的投票，最后将投票的中心用于估计3D包围框。投票策略使VoteNet可以大大减少搜索空间，并在多个基准数据集中获得最好的结果。

然而，包括VoteNet在内的很多3D物体检测网络没用充分的利用多层特征信息。比如 VoteNet只是在一个点云特征层上产生投票和预测，对多层特征和多层语义信息使用不够充分，这样会忽视对物体检测的一些有用的信息。杂乱的背景点也往往会对预测结果产生不利影响，投票机制虽然能较为准确的找到物体的中心点，但是杂乱的背景点也会参与投票从而对预测结果产生干扰。因此找到部分合适的前景点并进一步提取这些点的特征，有助于减小杂乱的背景点对预测结果的干扰。

发明内容

针对纯点云输入的3D物体检测困难，检测精度有待提高的问题，本发明拟解决的技术问题是，提出一种基于多层特征金字塔的点云3D物体检测方法。并且在SUN RGB-D和ScanNet V2这两个大规模室内场景公开数据集上对提出的方法进行评估，验证本方法的有效性。

本发明解决所述技术问题采用的技术方案是：一种基于多层特征金字塔的点云3D物体检测方法，其特征在于，该检测方法包括以下内容：

在VoteNet的基础上，同样是以点云作为输入，在PointNet++骨干网络上产生多层特征金字塔(FPN网络结构)来获得多个点云特征层，这些点云特征层分别配备一个投票模块，获得深度霍夫投票的同时也将其映射到同一个特征空间，然后进行特征融合形成投票簇。