[发明专利]基于毫米波雷达先验定位和视觉特征融合的目标检测方法

说明书

本发明公开了基于毫米波雷达先验定位和视觉特征融合的目标检测方法，所述方法包括：基于标定后的毫米波雷达和车载相机，同时获取毫米波雷达点云数据和相机图像；将毫米波雷达点云数据进行空间三维坐标变换以投影到相机平面；基于投影后的毫米波雷达点云数据，根据预先设定的anchor策略生成多个anchor样本，基于每个候选区域的速度距离权重获得最终的anchor样本；通过将相机图像的RGB信息和毫米波雷达点云数据的散射截面强度信息进行融合，获取最终的样本的特征；将最终的anchor样本的特征输入检测网络，生成场景下目标的类别和位置的信息。本发明的方法充分利用毫米波雷达返回信息的特性对现有的检测框架进行优化，提高了全天候场景下路上目标检测的准确性。

技术领域

本发明涉及自动驾驶技术领域，具体涉及基于毫米波雷达先验定位和视觉特征融合的目标检测方法。

背景技术

道路场景下的目标检测是实现车辆自动驾驶感知的关键技术环节，以确保车辆行驶感知系统确定车周环境，避免与其他车辆、行人等目标发生碰撞，并且提前预知辅助决策系统的执行，实现车辆在车道上的安全自动驾驶。

自动驾驶感知系统识别周围的目标，可以通过提取相机获取的视觉图像的特征，用于识别当前场景下的目标，这与人类通过视觉系统的感知非常相似，可视环境良好环境下的目标，对于人来说比较容易，对于车辆也是如此。不过在强光、大雾、夜间等可视环境不好的场景下，人类视觉获取信息变得有限，车辆的感知系统也很难单纯依靠视觉信息来做出正确的识别判断。而要实现自动驾驶，必须实现在全天候场景下道路目标的准确检测。于是很多方法开始应用其他信息(如激光雷达，毫米波雷达，热成像仪等)来增强感知系统的识别能力。

毫米波雷达利用多普勒效应计算物体相对于车辆的径向速度，毫米波雷达点云不受可见光环境的影响，对不同材质的目标有一定区分度，且包含有空间信息。因此利用毫米波雷达反馈的距离和速度信息来辅助判断障碍物，提高自动驾驶车辆的避障能力，这已经应用广泛。但是毫米波雷达点云非常稀疏，其中的噪声会对障碍判断产生很大影响。

在复杂场景下，针对单纯使用车载相机或毫米波雷达检测道路目标准确率低的问题，一种新颖的思路是融合传感器的多类信息，提高对车辆周边道路环境的感知能力。而大多数这类方法往往不加区分的将毫米波雷达反馈的信息(雷达散射截面强度，径向速度，距离等)和车载相机的视觉信息直接进行特征融合，没有充分利用两种传感器数据之间信息的互补作用。经过观察和实验分析，雷达散射截面强度是有目标材料有一定的关联性的，所以是类别相关的一种属性，距离和速度是类别无关的属性，是空间相关的属性，所以将不同的信息以不同的方式有效的融合才能更加全面的利用多传感器的信息实现更加鲁棒的检测。

发明内容

本发明的目的在于克服现有技术的不足，提出了一种充分利用毫米波雷达多种信息与视觉多方式融合的目标检测方法，该方法的主要特点是融合毫米波雷达点云和相机图像进行目标检测，将毫米波点云作为图像空间信息的补充和语义特征的增强，用图像弥补点云采样密度低的缺陷，用融合信息增强视觉信息在雨、雾天气、夜间等复杂道路场景下目标检测算法的鲁棒性。

为实现上述目的，本发明的实施例1提出了一种基于毫米波雷达先验定位和视觉特征融合的目标检测方法，所述方法包括：

基于标定后的毫米波雷达和车载相机，同时获取毫米波雷达点云数据和相机图像；将毫米波雷达点云数据进行空间三维坐标变换以投影到相机平面；

基于投影后的毫米波雷达点云数据，根据预先设定的anchor策略生成多个anchor样本，基于每个候选区域的速度距离权重获得最终的anchor样本；

通过将相机图像的RGB信息和毫米波雷达点云数据的散射截面强度信息进行融合，获取最终的样本的特征；

将最终的anchor样本的特征输入检测网络，生成场景下目标的种类和定位的信息。