[发明专利]一种用于动态目标3D检测的方法和装置

说明书

本发明涉及一种用于动态目标3D检测的方法及装置，首先通过点云裁剪的方式获取特定区域的点云数据。并且采用一种特殊的鸟瞰视图投影的方式来降低点云数据的复杂度，提高计算效率。通过Depth‑wise卷积和Point‑wise卷积相结合的方式进行下采样，在保证特征提取效果的同时，降低了卷积运算的时间和空间复杂度。紧着这对得到的特征向量通过特征金字塔网络进行上采样，得到与原始图像同等大小的高表示性能特征图层。特征金字塔网络的运用，增强了小物体的特征提取效果。该特征提取网络不仅减少了特征提取的时间和空间复杂度，还保证了特征提取的效果，大大提高了小物体被检测的精度和更加准确的位置信息。

技术领域

本发明涉及计算机视觉技术应用领域，具体的涉及3D动态目标(如汽车、行人)的检测的方法、装置。

背景技术

计算机视觉是指计算机通过处理各种传感器如相机、激光雷达、毫米波雷达等传感器的原始数据，从中提取出周围的环境信息。其功能类似于人的视觉神经系统，识别出环境中所有存在的物体并确定其位置、大小、朝向、速度等信息。

计算机视觉在自动驾驶汽车领域和移动机器人领域有很大的用处。计算机视觉技术可以为自动驾驶汽车提供车辆周围的环境信息，如道路、障碍物、车辆、行人等的位置、朝向、速度等信息。这些感知信息可以为自动驾驶汽车决策和控制提供有力的支持，取代人驾驶汽车的现状。自动驾驶汽车由感知数据和车体动力学模型得出控制系统对应的转向和速度，以确保车辆在可通行区域行驶，达到车辆在道路上安全行驶的目的。

计算机视觉动态目标3D检测不同于传统2D目标检测任务。传统目标检测任务需要识别图像上存在的物体，给出其对应的类别，并且输出物体在图像上的最小2D包围框。2D物体检测所能提供环境感知信息无法满足自动驾驶场景的感知要求。自动驾驶汽车需要获取障碍物、车辆、行人等的位置、长宽高和偏转角等更加详细的信息，从而支持自动驾驶汽车的运动规划和控制。3D物体检测任务在2D物体检测的基础上，需增加输出物体在三维空间的长宽高和旋转角等信息。而目前纯视觉3D物体检测在准确率上比较低。

发明内容

针对现有技术的缺陷，本发明提供一种用于动态目标3D检测的方法和装置，在进行3D物体检测任务时除了使用RGB图像信息外，还引入激光点云数据。而引入激光点云数据存在的难点主要体现在一下几个方面：

1.如何处理激光点云数据？多线激光雷达由于扫描点密集，扫描频率较高，产生激光点云数据量大，因此对计算能力要求高，无法达到自动驾驶车辆所需的实时感知要求。来源于2D图像处理的灵感，部分点云数据处理采用立体像素化处理，然后对每个立体像素中的点云提取局部点之间的特征。但是该方法需要大量的计算资源。

2.不管是2D物体监测还是3D物体检测普遍存在小物体漏检和定位不准确的问题。该问题主要是由于对图像进行下采样操作，使得在原始图像中所占像素小的物体特征丢失，并且位置变得不准确。下采样的操作对于大尺寸的图片是必不可少的，否则在特征提取的卷积操作中会增加计算的时间和空间复杂度。

3.目前几乎所有3D物体检测都是基于地平面水平的假设，该假设与现实场景是不符的。

4.目前3D物体检测任务普遍采用一个训练的网络模型用来检测一类目标。针对不同的检测目标需要训练不同的模型，不支持多类物体同时检测。

本发明解决上述至少一项技术问题所采用的技术方案如下：

第一方面，本发明提供一种用于动态目标3D检测的方法，包括以下步骤：

通过时间戳对齐方式同步获取相机图像数据及激光雷达点云数据，并对激光雷达点云数据进行剪切；

对剪切后的所述点云数据进行立体像素栅格化处理并投影成6通道鸟瞰图；

对所述图像数据及所述6通道鸟瞰图进行特征提取，获取图像数据特征图层和鸟瞰特征图层；