[发明专利]低线束激光雷达与相机融合方法、存储介质及装置

说明书

低线束激光雷达与相机融合方法、存储介质及装置，属于自动驾驶环境感知技术领域。为了解决现有的低线束稀疏点云聚类效果差、点云信息少而存在的难以有效提供准确的障碍物信息的问题。本发明首先对激光雷达的每一帧点云进行地面分隔，并利用神经网络对三维点云中的障碍物进行检测识别，框选三维目标，输出激光雷达检测框以及障碍物的距离；然后采用yoloV3对相机图像进行目标检测，框选目标，输出相机检测框以及障碍物类型；然后根据激光雷达与相机的标定过程确定相机内参以及激光雷达坐标系与相机坐标系的外参，将点云与图像融合，匹配激光雷达检测框和相机检测框，匹配成功输出障碍物的距离信息以及类别信息。用于自动驾驶环境的感知。

技术领域

本发明属于自动驾驶环境感知技术领域，涉及一种低线束激光雷达与相机融合方法

背景技术

传统的感知技术通常使用单一传感器提供环境信息，比如纯激光雷达障碍物识别、纯视觉摄像头识别。单一传感器的识别局限性较大，容易造成误识别或漏识别，识别效果较差，如果需要精度高则需要更换高线束的激光雷达，但是高线束雷达价格昂贵，寿命短，并且高线束雷达输出的点云信息非常大，对于处理器的运算能力要求高。因此一般的处理器难以带动高线束的激光雷达。因此对于成本价低，适合一般处理器的低线束雷达。传统单一传感器的处理效果较差，如今多传感器融合感知成为发展主流，目前的传感器融合主要利用激光雷达提供位姿信息，相机提供目标类型。但是由于激光雷达点云稀疏，难以聚类。

发明内容

本发明是为了解决现有的低线束稀疏点云聚类因效果差、点云信息少而存在的难以有效提供准确的障碍物信息的问题。

低线束激光雷达与相机融合方法，包括以下步骤：

S1、对激光雷达的每一帧点云进行地面分隔；

S2、利用深度学习框架pointpillar对三维点云中的障碍物进行检查识别，对检测后的障碍物进行三维目标框选，最终输出激光雷达检测框以及框选的障碍物的距离；

S3、采用机器视觉领域的yoloV3算法对相机图像2D图像进行目标检测，对图像中的障碍物进行目标框选，最终输出相机检测框以及框选的障碍物类型；

S4、根据激光雷达与相机的标定过程确定相机内参以及激光雷达坐标系与相机坐标系的外参；

S5、基于改进的自动驾驶框架autoware中的ranger fusion的后融合方式进行点云与图像融合，包括以下步骤：

首先根据S4的标定结果获取相机内参以及激光雷达坐标系与相机坐标系的外参，基于相机内参以及激光雷达坐标系与相机坐标系的外参将激光雷达点云以及相应的检测框投影在图像平面上；

然后将投影的激光点云所在平面转化为图像格式，并与相机图像进行融合：设激光雷达检测框的中心为L，相机中心检测框中心为C，两个中心之间的距离为d，对于每个激光雷达检测框的L，找到离L点最近的C，将C点对应的相机检测框与L点对应的激光雷达检测框匹配为一组，如果d两个检测框的最大边长，则该L点所在激光雷达检测框无法进行融合；搜索每一个激光雷达检测框，直到搜索完毕，如果存在单个L点或C点无法匹配则不进行下一步融合；将匹配为一组的将激光雷达点云检测框与相机检测框的范围进行比对，如果重合面积大于等于重合率阈值，则认定两检测框内的点云以及图像为同一障碍物，则融合成功；如果重合度小于重合率阈值或两个检测框之间的中心距离大于对应检测框的最大边长，则说明两个框选的物体为两个不同物体，则不能进行融合。

优选地，S5中当两个框选的物体为两个不同物体，不能进行融合时，判别检测框内的物体均为障碍物，并输出S2和S3中各自传感器的检测结果。

优选地，融合成功，则在图像中显示两个检测框的检测结果，即障碍物距离以及类型。

优选地，S5所述的重合率阈值为70％。