[发明专利]融合图像和点云信息的检测方法、系统、设备及存储介质

说明书

本发明提供了融合图像和点云信息的检测方法、系统、设备及存储介质，该方法包括以下步骤：使用激光雷达传感器和图像传感器同步获得点云信息和图像信息；将图像信息输入经过训练的第一卷积神经网络提取图像信息中每个像素点的多重特征信息，多重特征信息至少包括每个像素点的色彩信息以及物体标识信息；将激光雷达传感器的激光点云投影到图像上，将点云信息中每个激光点通过匹配到对应的像素点，然后像素点的多重特征信息添加到对应的点云信息中；将具有多重特征信息的点云信息输入经过训练的第二卷积神经网络输出每个3D目标的类别。本发明能够实现更高精度的实时3D目标检测，对于小物体的检测精度会有比较明显的提升。

技术领域

本发明属于3D目标检测技术领域，尤其涉及一种利用激光雷达传感器和图像传感器融合进行3D目标检测的算法。

背景技术

目前在无人驾驶领域的3D目标检测算法主要分为三类。第一类是基于双目立体视觉的原理进行图像的深度估计，然后将2D的图像检测结果转换到3D空间；第二类是只使用纯激光雷达传感器的3D点云，通过卷积神经网络或其他机器学习等方法直接通过点云进行3D目标检测；第三类是融合相机图像和激光雷达传感器的点云信息然后通过卷积神经网络以及其他互验证策略来进行3D目标检测。

但是现有的以上三种检测方法都存在一定的缺陷和不足：

第一类方法由于双目立体视觉原理的限制，其对深度的测量精度会比激光雷达传感器低很多，尤其是当物体离相机较远时这类方法的检测精度和可靠性会严重下降。

第二类方法虽然相比于第一类方法在距离的测量精度上较高，但是由于现有激光雷达传感器原理的限制，其所获得的点云数据都是非常稀疏而且信息比较单一，缺少类似于图像中的颜色信息这类的辅助信息。

第三类方法原则上应是结合了以上两种传感器的优点，但是现有的融合激光雷达传感器和图像数据的方法都没有很好地充分利用两个传感器的特点以至于其检测精度还略低于纯激光方法的检测精度，而且其检测速度比较慢难以实现实时性。

因此，本发明提供了一种融合图像和点云信息的检测方法、系统、设备及存储介质。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

针对现有技术中的问题，本发明的目的在于提供融合图像和点云信息的检测方法、系统、设备及存储介质，克服了现有技术的困难，能够更充分地利用雷达的点云信息与相机的图像信息，实现更高精度的实时3D目标检测，对于小物体的检测精度会有比较明显的提升，本发明兼具了3D 目标识别的速度和识别的准确性，该技术有助于为无人驾驶汽车提供更为安全可靠的环境感知信息。

本发明的实施例提供一种融合图像和点云信息的检测方法，包括以下步骤：

S110、使用激光雷达传感器和图像传感器同步获得点云信息和图像信息；

S120、将所述图像信息输入经过训练的第一卷积神经网络提取图像信息中每个像素点的多重特征信息，所述多重特征信息至少包括每个像素点的色彩信息以及物体标识信息；

S130、将激光雷达传感器的激光点云投影到图像上，将所述点云信息中每个激光点通过匹配到对应的所述像素点，然后像素点的多重特征信息添加到对应的所述点云信息中；

S140、将具有多重特征信息的点云信息输入经过训练的第二卷积神经网络输出每个3D目标的类别。

优选地，所述步骤S110之前包括以下步骤：

S100、联合标定激光雷达传感器和图像传感器以获得激光雷达传感器坐标系相对于视觉图像坐标系的转换矩阵；