[发明专利]一种交通目标检测方法、装置、电子设备及检测系统

说明书

本申请实施例提供了一种交通目标检测方法、装置、电子设备及检测系统，通过对全景环视图像进行语义特征提取，得到语义热力图特征，对多帧毫米波点云数据进行累加后得到的点云累加图像进行点云特征提取，得到点云特征，然后将语义热力图特征和点云特征进行融合，基于融合后的特征即可获得交通目标的检测结果。可见，通过特征融合的方式，实现了图像采集设备与毫米波雷达融合对交通目标进行检测，能够有效综合图像采集设备和毫米波雷达的优势，弥补单一传感器的不足。

技术领域

本申请涉及智能交通技术领域，特别是涉及一种交通目标检测方法、装置、电子设备及检测系统。

背景技术

随着智能交通的发展，对传感器获取数据要求越来越高，传统的单一传感器数据采集方式，已经难以满足不断增长的智慧交通应用需求。交通目标通常包含机动车、非机动车与行人。交通目标的检测已成为智慧交通中的一个关键环节。

交通领域常用的传感器包括图像采集设备与毫米波雷达。其中，图像采集设备能够捕捉交通目标的实时画面信息，但其容易受到光照、天气等因素影响，且无法获取交通目标的准确运动信息；而毫米波雷达能够全天时全天候持续获取交通目标的运动信息，但其无法获取交通目标的具体属性信息，也有一定的局限性。因此，图像采集设备与毫米波雷达的融合处理，成为解决交通环境感知的一个重要方向。

目前，基于单一传感器的目标检测依然占据主导地位，图像采集设备与毫米波雷达融合在交通目标检测方面的应用还不够充分，缺少有效的图像采集设备与毫米波雷达融合方法。

发明内容

本申请实施例的目的在于提供一种交通目标检测方法、装置、电子设备及检测系统，以实现图像采集设备与毫米波雷达融合对交通目标进行检测。具体技术方案如下：

第一方面，本申请实施例提供了一种交通目标检测方法，该方法包括：

获取图像采集设备采集的全景环视图像，以及毫米波雷达采集的多帧毫米波点云数据；

对全景环视图像进行语义特征提取，得到语义热力图特征；

将多帧毫米波点云数据进行累加，得到点云累加图像；

对点云累加图像进行点云特征提取，得到点云特征；

将语义热力图特征与点云特征进行融合，得到融合特征；

基于融合特征，获得交通目标的检测结果。

可选的，获取图像采集设备采集的全景环视图像的步骤，包括：

获取四周各视角方向的图像采集设备采集的各视角方向的图像；

对各视角方向的图像进行畸变矫正，得到畸变矫正后的各视角方向的图像；

将畸变矫正后的各视角方向的图像分别进行逆透视变换，得到多张鸟瞰图；

对得到的多张鸟瞰图进行拼接，得到全景环视图像。

可选的，对全景环视图像进行语义特征提取，得到语义热力图特征的步骤，包括：

将全景环视图像输入预先训练的高分辨率表示网络HR-Net，得到语义热力图特征。

可选的，将多帧毫米波点云数据进行累加，得到点云累加图像的步骤，包括：

将各历史帧毫米波点云数据同步至当前帧，并选取预设范围内的毫米波点云数据建立栅格图；

针对栅格图中的各栅格，统计在该栅格内的所有雷达点数作为该栅格的特征；

根据各栅格的特征，利用对数函数映射，计算经过映射后的各栅格的特征；

将经过映射后的各栅格的特征映射至RGB空间，得到点云累加图像。