[发明专利]基于深度学习的车道线检测方法、系统、计算机及存储介质

权利要求书

1.基于深度学习的车道线检测方法，其特征在于，包括以下步骤：

S1、通过交通监控摄像枪拍摄带有车道线的视频，并从视频中截取多张带有车道线的图像，形成数据集；

S2、对步骤S1形成的数据集进行预处理，并将预处理后的数据集划分为训练集和测试集；

S3、构建双分支的车道线检测模型，两个分支分别设特征提取器和图像分割器；

S4、通过训练集训练双分支的车道线检测模型；

S5、通过训练好的双分支的车道线检测模型对测试集进行检测；

所述步骤S3中，构建的双分支的车道线检测模型中，语义分割网络ENet作为backbone，由五个stage组成，stage1-3属于encoder部分，stage4-5属于decoder部分；

模型构建时，特征提取器和图像分割器共享stage1和stage2，stage3作为特征提取器，decoder作为图像分割器；

经过特征提取器得出特征图-1，尺度为：W*H*C；经过图像分割器得出二值图，尺度为：W*H*2，W、H为原图像宽、高，C为特征图通道数；

融合特征图-1和二值图得到特征图-2，为了避免过拟合同时避免丢失车道线信息，特征图-2再经过卷积、下采样操作得到特征图-3，把特征图-3展平，得到长度为wh*c的embedding，w、h、c分别为特征图-3的宽、高、通道数；embedding作为Transformer结构中第一个encoder的输入；

Transformer结构由六个串联的encoder和六个串联的decoder构成，经过Transformer最终得出车道线坐标；

融合特征图-1和二值图得到特征图-2时，二值图作为Mask弥补缺失车道特征，利用权值矩阵增强车道线特征，采用的公式如下：

W_reg＝softmax(R_mask·F₁)

F₂＝F₁·W_reg

上式中，R_mask为二值图，F₁为特征图-1，W_reg为权重矩阵；

所述图像分割器的损失函数为：

L_p＝BCE(O_p，G_p)

上式中，O_p，G_p分别为网络的预测坐标和真实坐标；

Transformer的encoder点乘为：

O＝AV

上式中，Q、k、V分别表示对每个输入行进行线性转换的查询、键和值序列，A为注意力图，衡量区域间的相关性，为Transformer拥有长距离捕捉能力的关键，O为自注意力的输出；

输出预测坐标的损失函数：

上式中，x_i为预测坐标，x_GT为实际坐标；

总损失函数：

L_total＝L_p+L_px。

2.根据权利要求1所述的基于深度学习的车道线检测方法，其特征在于，所述步骤S2中，对步骤S1形成的数据集进行预处理，具体包括：

S2-1、使用图像标注工具labelme中的linestrip标注图像中的车道线并生成json文件；

S2-2、利用Tusimple处理方法对json文件进行处理，生成二值图，作为标签信息；

S2-3、采用仿射变换、旋转和色彩变换对生成的二值图进行数据增强，拓展数据集；

S2-4、利用Python并引入第三方库OpenCV读取拓展后的数据集，对数据集进行数据清洗。

3.根据权利要求1所述的基于深度学习的车道线检测方法，其特征在于，所述步骤S4中，用步骤S2得到的训练集对步骤S3构建的双分支的车道检测模型进行训练，epoch为12000，学习率为：0.00025，batch为16，动态减小学习率，利用自适应矩估计Adam优化器进行参数优化，结合Adam优化损失下降。