[发明专利]一种基于点云局部特征融合的实时场景感知方法

说明书

本发明结合深度学习与计算机视觉算法，具体公开了一种基于点云局部特征融合的实时场景感知方法，该方法包括如下步骤：s1、通过激光雷达获取目标场景的点云信息；s2、将获取目标场景的点云信息上传到服务器；s3、对上传的点云进行预处理，进行随机采样处理；s4、使用特征提取器，对点云数据进行特征提取，使用局部特征融合方法，对点云信息进行局部与全局信息特征融合，完成特征提取；s5、使用深度学习的方法，对特征进行综合分析，判断目标种类；s6、将结果实时反馈。本发明方法通过使用多层感知机对于点云信息的分析，使用局部特征融合方法，充分挖掘点云局部的细节特征，实时的对场景进行感知理解。

技术领域

本发明结合深度学习与计算机视觉算法，具体公开了一种基于点云局部特征融合的实时场景感知方法。

背景技术

近年来，点云数据在自动驾驶、智能机器人、全息投影等领域中被广泛应用并发挥着重要作用。点云数据的处理任务主要包括分类和语义分割等。由于点云数据具有数据量大、形状不规则、密度不均匀等特点，因此点云数据的局部特征学习一直是一个极具挑战性的难题，也是目前的一个研究热点。

点云数据的特征学习，常用的方法是先将三维点云数据进行体素化，使其变成规则的三维网格结构，然后使用三维卷积神经网络对规则化后的数据进行操作。但是随着点云密度的增长，这种方法所需要的内存和计算量将会随分辨率的提高呈三次方增长。所以该方法只适用于较浅的三维网络模型。在2017年，PointNet网络，通过使用多层感知器学习每个点的高维特征，同时，将最大池化层作为对称函数，实现了对无序点云的直接处理，网络获得了不错的分类效果。但PointNet无法获取每个点的邻域几何信息，所以在复杂的点云场景中使用时，表现不佳。之后，PointNet++，该网络使用欧氏距离差值法对点进行上采样，并将插值计算得到的语义特征与低层学习的语义特征融合，从而获取到每个点更加丰富的语义特征，但该方法对局部空间内每个点进行的依旧是单独处理，仍有部分结构信息的损失。

现在的方法多是通过深度学习的方法进行特征提取，但是逐点提取特征的方法缺少对局部特征的提取，缺失了很多的细节特征。

因此，结合深度学习与计算机视觉的方法，构建一种更便利的局部特征融合的方法是非常必要的。

发明内容

本发明的目的在于提出一种基于点云局部特征融合的实时场景感知方法，其采用如下方案：

一种基于点云局部特征融合的实时场景感知方法，包括如下步骤：

s1、通过激光雷达获取目标场景的点云信息；

s2、将获取目标场景的点云信息上传到服务器；

s3、对上传的点云进行预处理，进行随机采样处理；

s4、使用特征提取器，对点云数据进行特征提取，使用局部特征融合方法，

对点云信息进行局部与全局信息特征融合，完成特征提取；

s5、使用深度学习的方法，对特征进行综合分析，判断目标种类；

s6、将结果实时反馈。

进一步，上述步骤s1中，通过调整激光雷达角度，实时地捕获场景内的物体点云信息。

进一步，上述步骤s2中，需要将对于s1中获取到的信息每隔一定时间上传到指定的服务器中，分析场景内的物体种类。

进一步，上述步骤s3中，通过随机采样技术，根据深度学习算法中时间步长，每秒提取1024个点云进行处理。

进一步，上述步骤s4中，完成对于局部特征融合的特征提取。

进一步，数据处理的具体步骤为：

s41、通过特征提取器，在步骤s3的基础上，完成对于点云数据的特征提取工作；