[发明专利]一种基于点云跨视图特征转换的实时三维目标检测方法

说明书

本发明公开了一种基于点云跨视图特征转换的实时三维目标检测方法。利用激光雷达采集得到的三维点云，投影成二维环视图；建立神经网络结构，利用点‑环视特征提取模块对三维点云和二维环视图两种格式进行特征提取，得到三维特征点云；利用分层体素柱模块对三维特征点云进行网格化，最后投影到鸟瞰视图上，得到鸟瞰视图特征；对神经网络结构训练，获得训练好的神经网络结构，将待测的激光雷达点云输入到神经网络结构中，再计算该场景预测得到的三维框。本发明有效提升了基于激光雷达点云的三维目标检测的检测精度，能够充分利用点云各个视图之间的特征优势，并且仅利用一维和二维卷积来完成三维目标检测，在高实时性的条件下提升了三维目标检测精度。

技术领域

本发明涉及了无人车与机器人视觉导航技术领域的一种基于激光雷达的目标检测方法，特别是涉及了一种基于点云跨视图特征转换的实时三维目标检测方法。

背景技术

目标检测是指在可感知环境中找到存在的物体并回归出其位置与尺寸信息，是保障无人驾驶、自主机器人等复杂系统能够安全运行的关键技术。卷积神经网络在基于图像的二维目标检测领域中取得了很大的进步，这些深度网络使用2D卷积等操作，提取图片中的高层语义信息，来理解图片的信息，相对于传统方法效果提升显著，迅速成为了目标检测领域的主流方法。但是基于图像的二维目标检测缺乏深度信息，无法直接用于真实场景下的三维感知与导航。为了能够给自主车辆与机器人提供精确的感知信息，三维目标检测应运而生。在三维目标检测中，激光雷达作为常见的距离传感器，采集得到的点云提供了精确的三维信息，为精确的三维目标检测提供了基础。

三维目标检测根据输入点云的表示形式和特征提取手段可以分为基于点、基于体素和基于视图的方法。

基于点的方法直接以3D点云中的点作为最小单位进行特征提取，通过点云采样，在没有任何量化损失的前提下，充分提取点云本身的3D几何信息特征，并基于点来回归所在的三维框，是最基础的点云3D目标检测算法。比如PointNet和PointNet++设计了点云的基础网络来提取全局和局部的特征。随后Point RCNN提出了一套端到端的两阶段点云检测模型，方法首先利用PointNet++对全局点云进行前背景分割，得到所有的前景点云，然后对每一个点的局部特征回归一个三维框，最后通过非极大值抑制得到最后的检测结果。但是由于PointNet++中的特征传递模块需要计算点云中任意两点之间相互的距离，复杂度为O(N2)，因此大多数这类算法的实时性比较差，无法得到很好地应用。

基于体素的方法通过将点云采样为规则的3D空间，随后像处理2D图像一样利用卷积等操作对其进行特征提取，最后在体素化特征回归三维框。VoxelNet提出了一个简洁的框架，主要思路在于将点云量化到一个均匀的3D体素化网格，随后在鸟瞰视图上回归得到三维框。SECOND在此基础上提出了3D稀疏卷积的操作，大大加速了网络的实时性。PV RCNN提出了一个点和体素同时提取特征的两分支骨架网络，利用体素特征和点特征的渐进性融合来得到更加精细化的特征。这些基于体素的三维目标检测算法得益于体素划分算法和3D稀疏卷积，可以高效并且高速地进行准确的三维区域框。但是3D稀疏卷积的落地部署和加速都比较麻烦，对系统的要求较高，应用场景比较受限。

基于视图的方法将点云投影到某一个视图(如环视图、鸟瞰图等)上，然后像二维目标检测一样直接利用2D卷积来完成三维框的回归。Pixor将激光雷达的三维点云投影成鸟瞰图，并完成鸟瞰图视角下的检测。PointPillars做为体素化方法的延续，利用一个PointNet在每一个体素柱内进行特征提取，将点云表示成为一个鸟瞰视图，并直接在伪鸟瞰特征图上直接进行三维框的回归。基于视图的方法仅利用1D和2D卷积来完成三维目标的检测，具有很强的实时性优势，但是由于直接将三维点云投影到某一个视图上会丢失压缩维度的信息，因此相对来说精度较低。

发明内容

为了解决背景技术中存在的问题，本发明的目的在于通过点云跨视图的特征转换，充分利用多个视图之间的优势，实现场景的三维目标检测，适用于实时采集实时处理的高效感知系统。