[发明专利]一种基于图像和点云的智慧交通目标融合检测方法及系统

说明书

本发明涉及一种基于图像和点云的智慧交通目标融合检测方法及系统，其中目标融合检测方法包括：对激光雷达和相机进行内参外参标定，并将两者建立在同一坐标系内；采集激光雷达和相机数据并分类保存为点云数据集和图像数据集；对图像数据集进行特征目标标注生成训练集，将训练集输入到YOLO网络模型中进行测试，输出图像中目标信息并标记；对点云数据进行处理，采用pointpillars网络模型完成特征提取和检测目标信息输出；在相机和激光雷达两部分分别运行独立检测后，获得边界框，对两类检测结果进行后融合，获得目标融合检测结果。与现有技术相比，本发明具有检测精度高、识别速度快等优点。

技术领域

本发明涉及智慧交通目标车辆检测领域，尤其是涉及一种基于图像和点云的智慧交通目标融合检测方法及系统。

背景技术

随着社会进步，交通参与者尤其是各类汽车越来越多，因驾驶员主观原因和交通环境客观原因等往往会给交通参与者带来诸如车祸，堵车等各类交通问题。为了提升当今社会交通安全及行驶环境，涌现出许多方式利用车端或路侧传感器获取道路信息以提升交通智能化。

智慧交通在当前快速发展，其中路侧感知是一个发展迅速的智慧交通方向。路侧感知有效地弥补了车辆的感知盲区，为驾驶员提供及时预警，也为交通部门实现了一定范围内的车辆协同调度，可以有效地改善城市道路车辆拥堵情况。而现有的车辆识别方法要不就是识别准确度低，要不就是准确度高，但是模型庞杂，数据处理速度慢。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种检测精度高、识别速度快的基于图像和点云的智慧交通目标融合检测方法及系统。

本发明的目的可以通过以下技术方案来实现：

一种基于图像和点云的智慧交通目标融合检测方法，所述的目标融合检测方法包括：

步骤1：对激光雷达和相机进行内参外参标定，并将两者建立在同一坐标系内；

步骤2：采集激光雷达和相机数据并分类保存为点云数据集和图像数据集；

步骤3：对图像数据集进行特征目标标注生成训练集，将训练集输入到YOLO网络模型中进行测试，输出图像中目标信息并标记；

步骤4：对点云数据进行处理，采用pointpillars网络模型完成特征提取和检测目标信息输出；

步骤5：在相机和激光雷达两部分分别运行独立检测后，获得边界框，对两类检测结果进行后融合，获得目标融合检测结果。

优选地，所述的步骤1具体为：

以(u,v)表示目标点在像素坐标系中的位置，齐次坐标为(u,v,1)，该点在激光雷达坐标系下的三维坐标为(X_L,Y_L,Z_L)，齐次坐标为(X_L,Y_L,Z_L,1)，有公式：

其中，A_C为摄像头的内参矩阵；R和t分别为激光雷达坐标系与摄像头坐标系之间的旋转矩阵和平移向量。

优选地，所述的步骤3具体为：

步骤3-1：利用单目相机采集车辆图片，将采集到的图像通过标注工具对图像中目标的位置和类别进行标注生成数据集，并将数据集划分为训练集和测试集；

步骤3-2：将训练集输入到YOLO网络中进行训练，生成车辆目标检测模型；

步骤3-3：根据特征图获得预测框位置信息以及其对应的类别概率、置信度，剔除掉置信度小于设定阈值对应的预测边界框，得到置信度较高的预测边界框。