[发明专利]基于鱼眼视觉和毫米波雷达数据的目标检测方法及装置

权利要求书

1.一种基于鱼眼视觉和毫米波雷达数据的目标检测方法，其特征在于，包括：

获取鱼眼视觉图像，并通过矫正算法对所述鱼眼视觉图像进行矫正，得到矫正图像；

获取毫米波雷达数据，并根据所述毫米波雷达数据的关键运动数据以及统计特征进行有效目标筛选，得到有效目标；

将所述有效目标投影到所述矫正图像中，根据所述有效目标所涉及的毫米雷达坐标系与所述矫正图像所涉的像素坐标系之间的转换关系，将所述毫米雷达坐标转换为所述像素坐标系；

将所述矫正图像与所述有效目标进行数据融合得到融合数据，采用DetectoRS算法对所述融合数据中的感兴趣区域进行目标识别，得到目标识别结果；

采用加权信息融合决策对所述目标识别结果以及所述有效目标的特征数据进行数据融合，得到目标检测结果。

2.如权利要求1所述的基于鱼眼视觉和毫米波雷达数据的目标检测方法，其特征在于，所述获取鱼眼视觉图像，并通过矫正算法对所述鱼眼视觉图像数据进行矫正，得到矫正图像，具体为：

通过鱼眼相机采集鱼眼视觉图像，采用泰勒公式以及等距投影模型对所述鱼眼视觉图像数据进行矫正，得到矫正图像。

3.如权利要求1所述的基于鱼眼视觉和毫米波雷达数据的目标检测方法，其特征在于，所述获取毫米波雷达数据，并根据所述毫米波雷达数据的关键运动数据以及统计特征进行有效目标筛选，得到有效目标，具体为：

根据所述毫米波雷达数据的关键运动数据以及统计特征计算目标距离、绝对速度以及散射截面积强度，若所述目标距离小于预设距离阈值，且所述绝对速度大于预设速度值，以及所述散射截面积强度在预设强度范围内，则将所述目标筛选为有效目标。

4.如权利要求1所述的基于鱼眼视觉和毫米波雷达数据的目标检测方法，其特征在于，所述根据所述有效目标所涉及的毫米雷达坐标系与所述矫正图像所涉的像素坐标系之间的转换关系，将所述毫米雷达坐标转换为所述像素坐标系，具体为：

根据计算机视觉理论和相机模型得到多个坐标系之间的转换关系，根据所述转换相关关系获取所述鱼眼相机中的相机内部参数和外部参数，根据所述内部参数和外部参数实现毫米波雷达坐标与像素坐标系的转换，其中多个所述坐标系包括毫米波雷达坐标系、世界坐标系、相机坐标系、图像坐标系和像素坐标系。

5.如权利要求1所述的基于鱼眼视觉和毫米波雷达数据的目标检测方法，其特征在于，所述采用视觉识别算法对所述融合数据中的感兴趣区域进行目标识别，得到目标识别结果，具体为：

采用DetectoRS算法，基于目标检测的looking and thinking twice机制在宏观上采用递归特征金字塔，以及在微观上采用可切换空洞卷积，对所述融合数据中的感兴趣区域进行目标识别，得到目标识别结果。

6.如权利要求1所述的基于鱼眼视觉和毫米波雷达数据的目标检测方法，其特征在于，将所述矫正图像与所述有效目标进行数据融合得到融合数据，具体为：

在所述毫米波雷达以周期采集毫米波雷达数据时，同时采集当前时刻的鱼眼视觉图像，将根据所述毫米波雷达数据得到的有效目标与所述鱼眼视觉图像得到的矫正图像进行数据融合，得到融合数据。

7.如权利要求1所述的基于鱼眼视觉和毫米波雷达数据的目标检测方法，其特征在于，所述兴趣区域的获取方法为：在将所述有效目标投影到所述矫正图像中之后，在投影得到的投影图像中设置预设尺寸的矩形区域作为感兴趣区域。

8.如权利要求1所述的基于鱼眼视觉和毫米波雷达数据的目标检测方法，其特征在于，所述目标识别结果包括第一目标置信度和目标包围框，所述特征数据包括第二目标置信度和位置速度信息，采用加权信息融合决策对所述目标识别结果以及所述有效目标的特征数据进行数据融合，得到目标检测结果，具体为：

采用加权信息融合决策，将所述目标识别结果与所述特征数据进行空间融合以及时间配准，得到目标检测结果。

9.一种基于鱼眼视觉和毫米波雷达数据的目标检测装置，其特征在于，包括：

图像矫正模块，用于获取鱼眼视觉图像，并通过矫正算法对所述鱼眼视觉图像进行矫正，得到矫正图像；

目标筛选模块，用于获取毫米波雷达数据，并根据所述毫米波雷达数据的关键运动数据以及统计特征进行有效目标筛选，得到有效目标；

坐标转换模块，用于将所述有效目标投影到所述矫正图像中，根据所述有效目标所涉及的毫米雷达坐标系与所述矫正图像所涉的像素坐标系之间的转换关系，将所述毫米雷达坐标转换为所述像素坐标系；

目标识别模块，用于将所述矫正图像与所述有效目标进行数据融合得到融合数据，采用DetectoRS算法对所述融合数据中的感兴趣区域进行目标识别，得到目标识别结果；

目标检测模块，用于采用加权信息融合决策对所述目标识别结果以及所述有效目标的特征数据进行数据融合，得到目标检测结果。