[发明专利]基于视觉与激光雷达多层次融合的车道检测方法及系统

权利要求书

1.一种基于视觉与激光雷达多层次融合的车道检测方法，该方法通过在车辆上安装激光雷达和车载相机实现，所述方法包括：

对获得的点云数据和视频图像进行标定；

融合点云数据的高度信息、反射强度信息和视频图像的RGB信息构造点云聚类模型，基于点云聚类模型获得车道点云，对车道点云进行最小二乘法拟合得到车道曲面，获得第一车道候选区域；

将点云数据中的反射强度信息与视频图像的RGB信息融合，得到四通道的道路信息；输入预先训练好的语义分割网络3D-LaneNet，输出第二车道候选区域的图像；

将第一车道候选区域和第二车道候选区域进行融合，将两个车道候选区域的并集作为最终的车道区域。

2.根据权利要求1所述的基于视觉与激光雷达多层次融合的车道检测方法，其特征在于，所述融合点云数据的高度信息、反射强度信息和视频图像的RGB信息构造点云聚类模型，基于点云聚类模型获得车道点云，对车道点云进行最小二乘法拟合得到车道曲面，获得第一车道候选区域；具体包括：

构造基于约束条件的点云聚类模型：

E_i＝α(H_i-H_i+1)+β(Q_i-Q_i+1)+γ[(R_i-R_i+1)+(G_i-G_i+1)+(B_i-B_i+1)]

其中，E_i表示第i个点和第i+1个点的相似度；α、β、γ为权重系数；H_i为标定后的点云数据中第i个点的高度、Q_i为标定后的点云数据中第i个点的反射强度；R_i、G_i、B_i分别为视频图像中第i个像素的RGB三通道数值；

以最接近车头中心位置的点云为中心点，利用所述点云聚类模型开始聚类，当不再有新的点被聚类或者点云中所有点都已经被遍历完后，最终聚类得到的所有点云为属于车道的点云；

使用最小二乘法对属于车道的点云进行曲面拟合，获得车道曲面，即第一车道候选区域。

3.根据权利要求2所述的基于视觉与激光雷达多层次融合的车道检测方法，其特征在于，所述语义分割网络3D-LaneNet能够同时处理连续多帧信息，并从连续多帧信息中提取车道的关联特征；3D-LaneNet包括12个3D-P-Inception模块，其中，6个3D-P-Inception模块用于Encode阶段，6个3D-P-Inception模块用于Decode阶段；3D-P-Inception模块为将二维卷积核替换为三维卷积核的Inception-v2模块；在3D-P-Inception中将3D-MaxPooling替换为3D-AvgPooling；所述3D-P-Inception模块中使用了不同大小的卷积核，便于提取多尺度的车道特征。