[发明专利]融合图像和点云信息的检测方法、系统、设备及存储介质

权利要求书

1.一种融合图像和点云信息的检测方法，其特征在于，包括以下步骤：

S110、使用激光雷达传感器和图像传感器同步获得点云信息和图像信息；

S120、将所述图像信息输入经过训练的第一卷积神经网络提取图像信息中每个像素点的多重特征信息，所述多重特征信息至少包括每个像素点的色彩信息以及物体标识信息；

S130、将激光雷达传感器的激光点云投影到图像上，将所述点云信息中每个激光点通过匹配到对应的所述像素点，然后像素点的多重特征信息添加到对应的所述点云信息中；

S140、将具有多重特征信息的点云信息输入经过训练的第二卷积神经网络输出每个3D目标的类别。

2.根据权利要求1所述的融合图像和点云信息的检测方法，其特征在于，所述步骤S110之前包括以下步骤：

S100、联合标定激光雷达传感器和图像传感器以获得激光雷达传感器坐标系相对于视觉图像坐标系的转换矩阵；

所述步骤S130中，将所述激光雷达传感器的激光点云的位置通过所述转换矩阵转换到所述视觉图像坐标系中，获得对应位置的所述像素点。

3.根据权利要求1所述的融合图像和点云信息的检测方法，其特征在于，所述步骤S130中，遍历所述图像的像素点，将与所述激光点云投影到视觉图像坐标系中的位置的距离最小的像素点作为匹配所述激光点云的所述像素点。

4.根据权利要求1所述的融合图像和点云信息的检测方法，其特征在于，所述步骤S120中，包括以下步骤：

S121、将图像信息输入经过训练的机器视觉模型进行基于所述图像的图像分割；

S122、通过机器视觉模型获得所述图像中每个分割后图像区域对应的物体标识信息D；

S123、每个所述像素点的多重特征信息包括该像素点的RGB信息以及所述像素点所处的图像区域中的物体标识信息D。

5.根据权利要求4所述的融合图像和点云信息的检测方法，其特征在于，在所述步骤S110之前还包括：采用大量具有多重特征信息的点云信息训练所述第二卷积神经网络，所述第二卷积神经网络输出3D目标的类别。

6.根据权利要求5所述的融合图像和点云信息的检测方法，其特征在于，所述第二卷积神经网络还输出每个所述3D目标的3D轮廓以及3D轮廓的长宽高尺寸。

7.根据权利要求1所述的融合图像和点云信息的检测方法，其特征在于，在所述步骤S140之后还包括以下步骤：

将所述3D目标所对应的点云中的最小距离、所对应的所有点云的平均距离或者到所对应的所有点云的中心点的距离中的一种作为与所述3D目标的距离。

8.根据权利要求1所述的融合图像和点云信息的检测方法，其特征在于，在所述步骤S140之后还包括以下步骤：

根据所述3D目标所对应的点云建立所述3D目标的3D轮廓，获得所述3D轮廓的尺寸作为所述3D目标的轮廓的尺寸。