[发明专利]一种点云、体素和多视图融合的深度学习方法

说明书

本发明提出一种点云、体素和多视图融合的深度学习方法，包括步骤一：设定输入为一帧的全部点云数据的集合；步骤二：提取在每个点上的单个点特征；步骤三：将点云进行归一化处理，然后进行体素化操作，生成体素网格，进而提取体素特征；步骤四：得到体素的多个2D视图放入ResNet网络中提取点云视图特征；步骤五：投影层将点云视图特征投影到原体素网格中；步骤六：将体素特征和投影到原体素网格的点云视图特征一起进行降体素操作，把体素特征和投影到原体素网格的点云视图特征返还给点云；步骤七：将点云的单个点特征、返还给点云的体素特征和点云视图特征进行融合。

技术领域

本发明涉及一种点云、体素和多视图融合的深度学习方法，属于计算机视觉领域和神经网络技术领域。

背景技术

随着三维点云的快速发展，对三维点云进行深度学习已经越来越受欢迎。现阶段的三维点云深度学习主要有三种方法：基于点云的(pointbased)；基于体素的(voxelbased)和基于多视图的(multi-viewbased)。其中基于点云的方法主要是直接对点进行处理；基于体素的方法是先对点云进行体素化，然后再将体素化后的点云放入三维卷积神经网络(3DCNN)中进行特征提取；多视图的方法是将同一个三维物体，转化为不同视角下“拍摄”所得到的二维图像，将这些二维图像作为训练数据，使用二维卷积进行特征提取。

在现有实现方案方面，主要是在NeurIPS2019上提出的一篇论文中提出的PVCNN模型，论文名称：“Point-Voxel CNN for Efficient 3D Deep Learning”，采用基于体素的方法和基于点云的方法结合的方式，主要是基于体素的分支采用粗粒度的邻域特征提取；在基于点的分支采用细粒度的逐点特征提取，最后再聚合两种特征实现更优的点云深度学习。

基于体素的方法会有极大的内存消耗；基于点云的方法大多数时间浪费在构造稀疏数据上，而不是在实际特征提取上；基于多视图的方法首先就是网络不允许我们无限制的使用各个视角的图片，所以固定数量的多视角图片可能无法将三维模型完全表示出来，很可能出现信息的丢失，比如物体自遮挡等，还有就是使用二维图片本身就会损失一些三维上的结构信息。

虽然PVCNN已经融合了两种方法，使得其在场景分割和3D形状分类中取得了很好的效果，但其性能还需要得到进一步的提高。本发明主要提出了一种基于上述三种方法结合的三维点云深度学习方法，它能够将点云进行高效的深度学习，不仅能够学习到点云的单点信息，而且也能够高效的学习点云的局部和全局信息。由于每条支路对点只扫描一次且采用低分辨率体素化，该方法具有十分高效的运算速度。在某些情况下，由于多视图提取了视图特征，在更高效的同时还具有更好的效果。

发明内容

本发明提出一种点云、体素和多视图融合的深度学习方法，能够使其在3D形状分类和场景分割上有更少的内存占用和更好的效果，具体技术方案如下：

一种点云、体素和多视图融合的深度学习方法，包括如下步骤：

步骤一：设定输入为一帧的全部点云数据的集合；

步骤二：提取在每个点上的单个点特征；

步骤三：将点云进行归一化处理，然后进行体素化操作，生成体素网格，进而提取体素特征；

步骤四：得到体素的多个2D视图放入ResNet网络中提取点云视图特征；

步骤五：投影层将点云视图特征投影到原体素网格中；

步骤六：将体素特征和投影到原体素网格的点云视图特征一起进行降体素操作，把体素特征和投影到原体素网格的点云视图特征返还给点云；

步骤七：将点云的单个点特征、返还给点云的体素特征和点云视图特征进行融合。

优选的，所述单个点特征的提取采用多层感知机进行提取。