[发明专利]一种多模数据融合的三维目标检测方法

说明书

本发明公开了一种多模数据融合的三维目标检测方法，充分利用了图片信息，主要解决了点云稀疏性和远小物体难以检测的问题。首先，该方法采用体素特征提取，对体素内点进行编码，获取体素级别特征。其次，进行图片多层语义特征提取和点云着色，底层语义特征提供精确位置信息，高层语义特征提供语义信息，点云与图片信息融合。然后，进行体素特征增强，体素邻域点云特征弥补体素离散过程中点云信息丢失的缺陷。最后，引入了双注意力机制，通道注意力机制和体素注意力机制增强了有用特征信息，抑制了无用特征信息。本发明方法能解决点云稀疏性和远小物体难以检测的问题，能增强有用特征信息，抑制无用特征信息，提高了目标检测性能。

技术领域

本发明涉及一种多模数据融合的三维目标检测方法，属于模式识别和智能信息处理领域。

背景技术

三维目标检测作为视觉感知系统中重要的一步，在自动驾驶、机器人、虚拟现实和增强现实等领域得到了广泛的应用。激光雷达传感器由于其直接获取空间目标的三维结构信息和精确的深度信息的特点，被广泛利用在自动驾驶和机器人领域来捕获三维场景信息。然而，由于激光雷达点云数据的稀疏性和不均匀性的缺点，导致其在精确物体检测和远小物体检测上表现不佳。

大部分的三维检测方法根据三维点云的表示方法不同，可分为基于体素的方法、基于多视角的方法和基于点云的方法。对于体素方法，点云被转换为间隔规则的三维体素网格，其中每个体素单元包含点云坐标等特征。三维卷积网络用于从体素网格中提取体素的高阶表示。VoxelNet(Zhou Y,Tuzel O.Voxelnet:End-to-end learning for pointcloud based 3d object detection[C].Proceedings of the IEEE Conference onComputer Vision and Pattern Recognition,2018:4490-4499.)提出了端到端的深度学习框架，利用特征提取器VFE层学习体素特征，由于点云本质上是稀疏且不均匀的，稀疏的体素网格带来了大量冗余的计算。同时，VoxelNet在体素化过程中，规定了每个体素内最大点的数量，从而导致在体素内点的数量超过限制时点特征信息的丢失。Second(Yan Y,MaoY,Li B.Second:Sparsely embedded convolutional detection[J].Sensors,2018,18(10):3337.)提出了稀疏卷积以替代VoxelNet中的3D卷积提取特征，有效的减少计算量，提升了推理性能。对于多视角方法，Pixor(Yang B,Luo W,Urtasun R.Pixor:Real-time 3dobject detection from point clouds[C].Proceedings of the IEEE conference onComputer Vision and Pattern Recognition,2018:7652-7660.)将点云投影到鸟瞰图，以得到类似图片的密集的紧凑的表示形式，二维卷积网络进而提取点云特征。但在投影离散过程中会带来信息损失，导致远物体检测困难。对于点云方法，直接从原始点云数据提取特征，不会带来因体素化带来的信息损失。PointNet(Qi C R,Su H,Mo K,et al.Pointnet:Deep learning on point sets for 3d classification and segmentation[C].Proceedings of the IEEE conference on computer vision and patternrecognition,2017:652-660.)是一个端到端的深度神经网络，直接从原始点云中学习到点云的全局特征，该方法在三维目标识别、实例分割和语义分割有很好的效果。PointNet++对PointNet进行了改进，能够学习到点云不同尺度的局部特征，但因为也是基于点云数据，因此也存在因为点云的稀疏性导致的对于远距离物体检测性能较差的问题。因此上述三类方法，检测性能都会因为点云的稀疏性在检测远距离物体时变差。

发明内容