[发明专利]一种面向智能车的毫米波雷达与单目相机信息融合方法

说明书

本发明请求保护一种面向智能车的毫米波雷达与单目相机信息融合方法，主要包括三个阶段：第一阶段，首先在智能车上安装并调整相机与毫米波雷达位置，然后用张正友标定法获取相机内部参数，最后将相机成像平面投影到俯视图，以满足两个传感器识别的目标信息在同一车辆坐标系下；第二阶段，在线下用深度学习方法训练基于图像的多目标识别模型，线上在智能车行驶的过程中雷达与相机实时采集数据，把识别的目标信息转化到统一的车辆坐标系下并排除无效目标；第三阶段，用全局最近邻匹配算法判断目标是否一致，通过扩展卡尔曼滤波跟踪匹配目标和未匹配目标，实现多目标识别。本发明目标识别率高，安全性可靠，可有效提高智能汽车对环境感知的实用性。

技术领域

本发明属于多传感器信息融合领域，具体涉及一种毫米波雷达与相机信息融合方法。

背景技术

智能汽车是在普通汽车的基础上增加了先进的传感器(雷达，相机)、控制器、执行器等装置，通过车载传感系统和信息终端实现与人、车、路等的智能信息交换，使汽车具备智能的环境感知能力，能够自动分析汽车行驶的安全及危险状态，并使汽车按照人的意愿到达目的地，最终实现替代人来操作的目的。目前可识别智能车周围障碍物的传感器有相机，热成像仪，毫米波雷达，激光雷达，超声波雷达等。相机是实际生活中应用最广泛的传感器，通过摄像头感知环境并识别目标是当前最普遍的途径。然而，采用相机的算法会受到复杂环境如天气、路况信息、光照等因素的影响，常常会存在检测不到目标或者遗漏目标的情况。车载毫米波雷达能克服环境带来的不利因素，并能测出目标的位置和与雷达的距离，但识别的范围较窄，不能识别交通标识与交通信号。

虽然现在的汽车上或多或少的会安装摄像头或者毫米波雷达，但都是单独使用，没能充分利用不同传感器的优势。由于环境复杂性，无法通过单一传感器实现所有环境信息的感知和目标的识别，对于智能汽车，同质信号融合已形成较成熟的理论方法，同一目标融合不同传感器信号提高准确性是一方面，更重要的是如何利用不同传感器的优势，弥补其它传感器的不足。

当前基于毫米波雷达与相机信息融合方法中，通常将其中一个传感器作为主传感器，将它检测的目标位置信息生成可供其它传感器识别的感兴趣区域(Region ofInterest,ROI)，然后用其它传感器来验证ROI内是否包含目标，如专利申请号CN201710100068.0，CN107336724A，CN201710970932.2等。然而，这种方法本质上只是对单一传感器目标的一种验证，对于未检测到的目标无法判断，无法充分发挥传感器的作用。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种，提升目标识别的精度和减小环境对目标识别的影响、减少对目标的重复利用的面向智能车的毫米波雷达与单目相机信息融合方法。本发明的技术方案如下：

一种面向智能车的毫米波雷达与单目相机信息融合方法，假定地面是平坦的，毫米波雷达安装在智能车前保险杠，相机安装在车顶或后视镜，雷达与相机在同一车轴线上，其包括以下步骤：

标定阶段：安装并调整相机与毫米波雷达位置，利用张正友标定法获取相机内部参数，然后将相机成像平面投影到俯视图，以满足毫米波雷达与单目相机目标信息在同一车辆坐标系下；

识别阶段：在线下用深度学习方法训练基于图像的多目标识别模型，线上在智能车行驶的过程中雷达与相机实时采集数据，把识别的目标信息转化到同一车辆坐标系下并排除无效目标；

融合阶段：用全局最近邻匹配算法判断目标是否一致，通过扩展卡尔曼滤波跟踪匹配目标和未匹配目标。

进一步的，所述标定阶段利用张正友标定法获取相机内部参数，具体过程包括：

1)、当相机安装位置固定后，在相机前方拍摄不同角度的若干张棋盘格标定板的图像；

2)、检测出棋盘格标定板的图像中的特征点；

3)、根据检测的特征点位置信息，在不考虑畸变的情况下用直接法求出相机内部参数初值；