[发明专利]一种基于图像和点云的智慧交通目标融合检测方法及系统

权利要求书

1.一种基于图像和点云的智慧交通目标融合检测方法，其特征在于，所述的目标融合检测方法包括：

步骤1：对激光雷达和相机进行内参外参标定，并将两者建立在同一坐标系内；

步骤2：采集激光雷达和相机数据并分类保存为点云数据集和图像数据集；

步骤3：对图像数据集进行特征目标标注生成训练集，将训练集输入到YOLO网络模型中进行测试，输出图像中目标信息并标记；

步骤4：对点云数据进行处理，采用pointpillars网络模型完成特征提取和检测目标信息输出；

步骤5：在相机和激光雷达两部分分别运行独立检测后，获得边界框，对两类检测结果进行后融合，获得目标融合检测结果。

2.根据权利要求1所述的一种基于图像和点云的智慧交通目标融合检测方法，其特征在于，所述的步骤1具体为：

以(u,v)表示目标点在像素坐标系中的位置，齐次坐标为(u,v,1)，该点在激光雷达坐标系下的三维坐标为(X_L,Y_L,Z_L)，齐次坐标为(X_L,Y_L,Z_L,1)，有公式：

其中，A_C为摄像头的内参矩阵；R和t分别为激光雷达坐标系与摄像头坐标系之间的旋转矩阵和平移向量。

3.根据权利要求1所述的一种基于图像和点云的智慧交通目标融合检测方法，其特征在于，所述的步骤3具体为：

步骤3-1：利用单目相机采集车辆图片，将采集到的图像通过标注工具对图像中目标的位置和类别进行标注生成数据集，并将数据集划分为训练集和测试集；

步骤3-2：将训练集输入到YOLO网络中进行训练，生成车辆目标检测模型；

步骤3-3：根据特征图获得预测框位置信息以及其对应的类别概率、置信度，剔除掉置信度小于设定阈值对应的预测边界框，得到置信度较高的预测边界框。

4.根据权利要求3所述的一种基于图像和点云的智慧交通目标融合检测方法，其特征在于，所述的YOLO网络包括主干特征提取网络Darknet-53和多尺度特征融合网络FPN；所述的主干特征提取网络Darknet-53由卷积块和残差块组成，对输入的图片不断进行下采样，压缩图像尺寸，增加通道数；所述的特征融合网络FPN用于对下采样得到的不同尺寸进行融合，将深层信息和浅层信息进行堆叠，得到不同尺度的特征图。

5.根据权利要求1所述的一种基于图像和点云的智慧交通目标融合检测方法，其特征在于，所述步骤4中pointpillars网络模型具体为：

步骤4-1：将采集到的原始激光雷达点云数据利用特征编码器网络将3D点云数据结合pillar样式进行分割，转换为伪图片的形式；

步骤4-2：通过2D卷积主干网络处理伪图片，获得特征信息；

步骤4-3：使用SSD目标检测头进行bbox回归，输出检测信息即预测边界框。

6.根据权利要求5所述的一种基于图像和点云的智慧交通目标融合检测方法，其特征在于，所述的步骤4-2具体为：

2D卷积主干网络包括top-down网络和second网络，其中：

top-down由卷积层、BN、ReLU层组成，用于捕获不同尺度下的特征信息；

second网络做上采样和连接，用于融合不同尺度的特征信息。

7.根据权利要求1所述的一种基于图像和点云的智慧交通目标融合检测方法，其特征在于，所述的步骤5具体为：

在空间上，对两类预测边界框进行IOU计算以衡量两个边界框重合度，若边界框重合度大于预设阈值，则确定该边界框检测为一确定标的物，然后融合两个传感器独立检测结果输出最终目标检测结果。

8.根据权利要求7所述的一种基于图像和点云的智慧交通目标融合检测方法，其特征在于，所述的步骤5还包括：

在对两类检测结果进行后融合时，根据实际情况确定两类检测结果的融合比重。