[发明专利]一种用于动态目标3D检测的方法和装置

权利要求书

1.一种用于动态目标3D检测的方法，其特征在于，包括以下步骤：

通过时间戳对齐方式同步获取相机图像数据及激光雷达点云数据，并对激光雷达点云数据进行剪切；

对剪切后的所述点云数据进行立体像素栅格化处理并投影成6通道鸟瞰图；

对所述图像数据及所述6通道鸟瞰图进行特征提取，获取图像数据特征图层和鸟瞰特征图层；

结合先验3D锚框，在图像数据特征图层和鸟瞰特征图层中框选候选区域，提取候选区域特征向量并融合，生成3D候选锚框；

利用所述3D候选锚框分别提取所述图像特征图层和所述鸟瞰特征图层的特征crops并融合生成特征向量；

根据所述特征向量生成3D边界框，对所述3D边界框进行朝向回归及分类处理，完成动态目标的3D检测；

所述的对所述图像数据及所述6通道鸟瞰图进行特征提取，获取图像数据特征图层和鸟瞰特征图层，包括：

采用Depth-wise卷积与Point-wise卷积相结合的方式对所述图像以及6通道鸟瞰图进行8倍下采样，然后利用Feature Pyramid Network网络对所述图像以及6通道鸟瞰图进行8倍上采样，生成与原始图片尺寸相同的图像特征图层和6通道鸟瞰特征图层；

所述的通过时间戳对齐方式同步获取相机图像数据及激光雷达点云数据，还包括，通过时间戳对齐方式同步获取IMU惯导数据；利用所述IMU惯导数据计算地平面方程，并根据所述地平面方程修正所述相机图像数据以及所述激光雷达点云数据。

2.根据权利要求1所述的方法，其特征在于，所述的对剪切后的所述点云数据进行立体像素栅格化处理并投影成6通道鸟瞰图，包括：

将剪切后的所述点云数据沿z轴方向等分成5个区域，对每个区域内的所有点云进行投影生成鸟瞰图层；

计算每个鸟瞰图层中的点云密度，并构建第6通道鸟瞰图。

3.根据权利要求1所述的方法，其特征在于，所述的结合先验3D锚框，在图像数据特征图层和鸟瞰特征图层中框选候选区域，提取候选区域特征向量并融合，生成3D候选锚框，包括：

利用所述先验3D锚框扫描所述图像数据特征图层和所述鸟瞰特征图层，得到第一感兴趣区域；

对所述第一感兴趣区域进行特征提取，得到相同长度的图像数据特征向量和鸟瞰特征向量；

通过element-wise均值处理，对所述图像数据特征向量和鸟瞰特征向量进行融合，生成融合特征crops；

所述融合后的特征crops通过一个256维度的全连接层得到3D候选锚框。

4.根据权利要求1所述的方法，其特征在于，所述的利用所述3D候选锚框分别提取所述图像特征图层和所述鸟瞰特征图层的特征crops并融合生成特征向量，包括：

利用所述3D候选锚框扫描所述图像数据特征图层和所述鸟瞰特征图层，得到第二感兴趣区域；

对所述第二感兴趣区域进行特征提取，得到相同长度的图像数据特征向量和鸟瞰特征向量；

通过element-wise均值处理，对所述图像数据特征向量和鸟瞰特征向量进行融合，生成融合特征crops；

所述融合后的特征crops通过一个256维度的全连接层得到3D边界框，并对所述3D边界框进行边界框朝向回归处理以及对所述3D边界框内框选的物体进行分类识别。