[发明专利]一种交通目标检测方法、装置、电子设备及检测系统

权利要求书

1.一种交通目标检测方法，其特征在于，所述方法包括：

获取图像采集设备采集的全景环视图像，以及毫米波雷达采集的多帧毫米波点云数据；

对所述全景环视图像进行语义特征提取，得到语义热力图特征；

将所述多帧毫米波点云数据进行累加，得到点云累加图像；

对所述点云累加图像进行点云特征提取，得到点云特征；

将所述语义热力图特征与所述点云特征进行融合，得到融合特征；

基于所述融合特征，获得交通目标的检测结果。

2.根据权利要求1所述的方法，其特征在于，所述获取图像采集设备采集的全景环视图像的步骤，包括：

获取四周各视角方向的图像采集设备采集的各视角方向的图像；

对所述各视角方向的图像进行畸变矫正，得到畸变矫正后的各视角方向的图像；

将畸变矫正后的各视角方向的图像分别进行逆透视变换，得到多张鸟瞰图；

对得到的多张鸟瞰图进行拼接，得到全景环视图像。

3.根据权利要求1所述的方法，其特征在于，所述对所述全景环视图像进行语义特征提取，得到语义热力图特征的步骤，包括：

将所述全景环视图像输入预先训练的高分辨率表示网络HR-Net，得到语义热力图特征。

4.根据权利要求1所述的方法，其特征在于，所述将所述多帧毫米波点云数据进行累加，得到点云累加图像的步骤，包括：

将各历史帧毫米波点云数据同步至当前帧，并选取预设范围内的毫米波点云数据建立栅格图；

针对所述栅格图中的各栅格，统计在该栅格内的所有雷达点数作为该栅格的特征；

根据所述各栅格的特征，利用对数函数映射，计算经过映射后的各栅格的特征；

将所述经过映射后的各栅格的特征映射至RGB空间，得到点云累加图像。

5.根据权利要求1所述的方法，其特征在于，所述对所述点云累加图像进行点云特征提取，得到点云特征的步骤，包括：

将所述点云累加图像输入深度学习目标检测模型YOLOv3，得到多种尺度的点云特征。

6.根据权利要求5所述的方法，其特征在于，在所述将所述语义热力图特征与所述点云特征进行融合，得到融合特征的步骤之前，所述方法还包括：

根据所述多种尺度，对所述语义热力图特征进行降采样，得到各尺度的语义热力图特征；

所述将所述语义热力图特征与所述点云特征进行融合，得到融合特征的步骤，包括：

将相同尺度的语义热力图特征与点云特征进行融合，得到融合特征。

7.根据权利要求1所述的方法，其特征在于，所述基于所述融合特征，获得交通目标的检测结果的步骤，包括：

将所述融合特征输入卷积层，得到交通目标的目标框检测结果，其中，所述目标框检测结果包括：目标框的中心点坐标、所述目标框的长度和宽度、所述目标框旋转角的三角函数值；

对所述三角函数值进行反三角函数计算，得到所述目标框的旋转角。

8.一种交通目标检测装置，其特征在于，所述装置包括：

数据采集模块，用于获取图像采集设备采集的全景环视图像，以及毫米波雷达采集的多帧毫米波点云数据；

图像预测模块，用于对所述全景环视图像进行语义特征提取，得到语义热力图特征；

多帧累加模块，用于将所述多帧毫米波点云数据进行累加，得到点云累加图像；

特征编码模块，用于对所述点云累加图像进行点云特征提取，得到点云特征；

特征融合模块，用于将所述语义热力图特征与所述点云特征进行融合，得到融合特征；

回归预测模块，用于基于所述融合特征，获得交通目标的检测结果。

9.一种电子设备，其特征在于，包括处理器和存储器；

所述存储器，用于存放计算机程序；

所述处理器，用于执行所述存储器上所存放的计算机程序时，实现权利要求1-7任一项所述的方法。

10.一种检测系统，其特征在于，所述系统包括如权利要求9所述的电子设备、图像采集设备及毫米波雷达。