[发明专利]基于视觉与激光雷达多层次融合的车道检测方法及系统

说明书

本发明公开了基于视觉与激光雷达多层次融合的车道检测方法及系统，该方法通过在车辆上安装激光雷达和车载相机实现，所述方法包括：对获得的点云数据和视频图像进行标定；融合点云数据的高度信息、反射强度信息和视频图像的RGB信息构造点云聚类模型，基于点云聚类模型获得车道点云，对车道点云进行最小二乘法拟合得到车道曲面，获得第一车道候选区域；将点云数据中的反射强度信息与视频图像的RGB信息融合，得到四通道的道路信息；输入预先训练好的语义分割网络3D‑LaneNet，输出第二车道候选区域的图像；将第一车道候选区域和第二车道候选区域进行融合，将两个车道候选区域的并集作为最终的车道区域。本发明的方法提高了复杂道路场景下车道检测的准确性。

技术领域

本发明涉及自动驾驶技术领域，具体涉及基于视觉与激光雷达多层次融合的车道检测方法及系统。

背景技术

道路场景下的车道检测是实现车辆自动驾驶的关键技术环节，以确保车辆行驶在车道限制之内，避免因越过车道而与车道外行人等目标发生碰撞。且后续在有效的车道区域内检测车道线将更快速、更准确，实现车辆在正确的车道上安全自动驾驶。

识别马路上的车道，对于人来说比较容易，不过在强光、大雾、夜间等复杂场景下，人类的车道识别能力依然有限。而要实现自动驾驶，必须实现在复杂场景下车道的准确检测。现有车道检测方法大都是利用车载相机获得稠密、高频率的道路图像，然后从这些图像中检测车道。但车道区域内的阴影、反光、道路颜色的微小变化，都会对车道准确检测造成很大困难。而且单幅相机图像没有空间信息，多目相机空间测距的准确性和稳定性也很差，无法满足高可靠度要求的车辆自动驾驶。

激光雷达点云不受可见光环境的影响，对不同材质的目标有一定区分度，且包含有空间信息。在整个道路场景中车道的高度通常是所有目标中最低的，有学者通过设置一个车道高度阈值来去除路牙、隔离带等目标，获得车道。但是当存在上坡的车道时，车道的高度不一定是整个道路场景中最低的，使得基于点云高度阈值的车道检测方法有局限性。而且激光雷达点云稀疏，对车道的精细检测能力比较差。

发明内容

本发明的目的在于克服现有技术的不足，提出了一种基于视觉与激光雷达多层次融合的车道检测方法，该方法融合激光雷达点云和相机图像进行车道检测，将点云作为图像空间信息的补充，用图像弥补点云采样密度低的缺陷，提高上坡的车道、光照不均、大雾、夜间等复杂道路场景下车道检测算法的鲁棒性。

为实现上述目的，本发明提出了一种基于视觉与激光雷达多层次融合的车道检测方法，该方法通过在车辆上安装激光雷达和车载相机实现，所述方法包括：

对获得的点云数据和视频图像进行标定；

融合点云数据的高度信息、反射强度信息和视频图像的RGB信息构造点云聚类模型，基于点云聚类模型获得车道点云，对车道点云进行最小二乘法拟合得到车道曲面，获得第一车道候选区域；

将点云数据中的反射强度信息与视频图像的RGB信息融合，得到四通道的道路信息；输入预先训练好的语义分割网络3D-LaneNet，输出第二车道候选区域的图像；

将第一车道候选区域和第二车道候选区域进行融合，将两个车道候选区域的并集作为最终的车道区域。

作为上述方法的一种改进，所述融合点云数据的高度信息、反射强度信息和视频图像的RGB信息构造点云聚类模型，基于点云聚类模型获得车道点云，对车道点云进行最小二乘法拟合得到车道曲面，获得第一车道候选区域；具体包括：

构造基于约束条件的点云聚类模型：