[发明专利]一种3D目标检测系统及其3D目标检测方法

说明书

本发明公开了一种3D目标检测深度神经网络模型及其3D目标检测方法，包括以下过程，提取被检测3D对象的图像特征和点云数据的点云特征；计算点云特征和图像特征之间的互相注意力权重，得到融合了图像信息和点云信息的融合特征，融合特征输入区域提案网络中，区域提案网络的输出作为分类回归多任务学习网络的输入，分类回归多任务学习网络输出3D目标的类别、3D目标矩形包围框的偏移量和朝向，完成3D目标检测。本发明引入互注意力模块自适应对齐图像特征和点云特征，得到基于图像特征增强后的点云特征，应用区域提案网络和分类回归多任务学习网络实现3D目标检测。有效融合图像信息和点云信息，提高3D目标检测的准确率。

技术领域

本发明属于图像处理和计算机视觉技术领域，具体属于一种3D目标检测系统及其3D目标检测方法。

背景技术

3D目标检测广泛应用于自动驾驶、机器人导航和增强现实等领域，其任务主要是对应用场景中感兴趣的物体进行检测。目前3D目标检测主要基于图像或点云数据应用一定的技术手段获取目标的大小、位置等。激光雷达(Lidar)获取的点云数据可提供场景的深度信息并不易受环境因素的影响而被广泛关注，但也受点云密度不均、分布离散以及场景复杂等多方面因素的影响。图像数据易受光线及天气等外界环境因素的影响，对深度信息表达不足但其具有丰富的细节描述，其在3D目标检测中也起着重要作用。目前3D目标检测相关的大部分研究工作主要基于图像、点云和两者结合的方法进行。

在基于图像的3D目标检测方面，有单纯依靠单目摄像头数据获取粗糙的目标基本3D长方体边界框的方法。也有方法从单目相机或双目相机的图像中估计深度，将得到的像素深度反投影为3D点云，得到伪造点云数据，然后用处理雷达点云数据的方法进行3D目标检测。

在基于点云数据的3D目标检测方面，MV3D将Lidar点云投影到不同视角下的2D图像，然后使用2D卷积神经网络融合这些图像最终生成3D边界框。也有文献通过将点云进行深度投影，依据点云和投影图之间的映射关系实现点云目标分割。这类方法的主要思路是将点云数据投影后获得二维视图，然后利用图像领域较为成熟的目标检测技术，但在投影过程中容易造成物体结构信息的丢失，从而限制了3D目标的检测性能。PointNet和PointNet++模型直接处理Lidar获取的点云进行目标检测。PointNet输入原始点云到深度神经网络中，其使用对称函数提取特征点顺序无关的信息，学习点级别的深度特征近似点云的全局信息。PointNet++]改进了PointNet无法获取各点间局部相关性特征的问题，提出了MSG/MRG两种层级结构，使得网络能够从原始点云中捕获到不同尺度下的点云局部结构特征。但由于这两种层级结构不能完全抓取物体的几何结构信息，使得点云局部结构特征的学习受到限制。针对PointNet以及PointNet++存在计算量庞大的缺点，VoxelNet将无序的点云数据分割成固定大小的3D体素网格，在此基础上使用3D卷积神经网络提取点云特征。这类方法通过体素化把无序的点云转化成规整的网格，便于使用诸如三维卷积神经网络之类的运算，虽然网格的划分不可避免引入离散化误差，但在一定程度上加快了点云特征提取过程。

在图像和点云信息融合检测方面，有的方法使用PointNet和Resnet分别提取点云特征和图像特征，然后通过全连接网络融合这两种特征。有的方法用连续卷积神经网络层融合不同尺度下的图像特征和点云鸟瞰图特征。这些方法或采用全连接网络或使用卷积神经网络进行融合，本质上是对各模态特征的整合计算。F-PointNet结合区域提案(regionproposal)和PointNet的目标检测定位方法，利用RGB-D映射和锥体(Frustum)得到3D外包矩形框(3D box)参数。ContFuse利用图像流和点云流两种网络结构在多尺度、多传感器下对点云和图像进行深度连续融合，实现3D空间目标检测定位。PointPainting提出一种新颖的融合方法，将激光雷达点投影到图像的语义分割网络输出中并将类分数附加到每个点，然后将附加的(painted)点云馈送到任何仅激光雷达的方法。