[发明专利]基于毫米波雷达先验定位和视觉特征融合的目标检测方法

权利要求书

1.一种基于毫米波雷达先验定位和视觉特征融合的目标检测方法，所述方法包括：

基于标定后的毫米波雷达和车载相机，同时获取毫米波雷达点云数据和相机图像；将毫米波雷达点云数据进行空间三维坐标变换以投影到相机平面；

基于投影后的毫米波雷达点云数据，根据预先设定的anchor策略生成多个anchor样本，基于每个候选区域的速度距离权重获得最终的anchor样本；

通过将相机图像的RGB信息和毫米波雷达点云数据的散射截面强度信息进行融合，获取最终的样本的特征；

将最终的anchor样本的特征输入检测网络，生成场景下目标的类别和位置信息；

所述基于投影后的毫米波雷达点云数据，根据预先设定的anchor策略生成多个anchor样本，基于每个候选区域的速度距离权重获得最终的anchor样本；具体包括：

将投影后的毫米波雷达点云数据作为位置先验，即作为anchor生成点，一个anchor生成点生成M组基础anchor，每组基础anchor包括N个预先设定大小和宽高比的anchor样本；则一个anchor生成点生成M×N个anchor样本；

分别提取每个anchor样本的毫米波雷达点云数据的速度信息和距离信息，计算每个候选区域的速度距离权重W：

其中，α和β均为权重系数，α取毫米波雷达测距的最大有效范围的最大值，β值根据道路上车辆的速度来确定，使得最终权重W∈(0,1)；n是一个候选区域中含有的点云个数，Velocity为毫米波雷达点云数据中的速度信息，Distance为毫米波雷达点云数据中的距离信息；

使用速度距离权重综合对anchor样本进行缩放和派生操作，得到最终的anchor样本。

2.根据权利要求1所述的基于毫米波雷达先验定位和视觉特征融合的目标检测方法，其特征在于，所述通过将相机图像的RGB信息和毫米波雷达点云数据的散射截面强度信息进行融合，获取最终的anchor样本的特征，具体包括：

相机图像RGB信息用(R,G,B)表示，使用Min-Max标准化方法进行数据标准化，得到标准化后的图像信息(R',G',B')；毫米波雷达点云数据中的散射截面强度信息用RCS表示；将RCS作为第四通道信息与图像RGB三通道信息进行融合，得到四通道的信息(R',G',B',RCS)；

使用RestNet50作为特征提取网络，将四通道的信息输入预先训练好的特征提取网络，输出原始图像的四通道的信息的特征；

将最终的anchor样本的区域与原始图像的四通道的信息的特征进行区域对应，获取最终的anchor样本的特征。

3.根据权利要求2所述的基于毫米波雷达先验定位和视觉特征融合的目标检测方法，其特征在于，所述方法还包括：特征提取网络的训练步骤；具体包括：

将已经标注好的毫米波雷达点云数据和相机图像制作成Dataset数据集；

初始学习率lr设置为0.001，使用余弦退火策略进行学习率的更新；每次更新参数使用的批量值b＝64，迭代训练次数为epoch＝300；

损失函数采用交叉熵损失函数；采用梯度下降法调整参数，直至特征提取网络收敛。

4.根据权利要求3所述的基于毫米波雷达先验定位和视觉特征融合的目标检测方法，其特征在于，所述检测网络采用的是Faster-RCNN网络的形式，包括：定位子网络和回归子网络，定位子网络用于对目标进行定位；回归子网络用于对目标进行分类。

5.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-4任一项所述的方法。

6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行权利要求1-4任一项所述的方法。