[发明专利]基于深度学习的车道线检测方法、系统、计算机及存储介质

说明书

本发明公开了基于深度学习的车道线检测方法、系统、计算机及存储介质，引入图像分割网络，图像分割网络在车道线被部分遮挡或不连续时，检测模型仍然能得到车道线的区域和走势，二值图作为Mask提取特征图中表征车道线的特征图，利用权值矩阵增强车道线特征，并利用车道线特征相似的特性，使用现有的车道特征补足车道特征不明显区域。二值图Mask的引入大大增强了模型对车道线区域的捕获能力。另外，引入Transformer的注意力机制并且在embedding输入Transformer之前做车道线相似区域的特征增强，因此对于车道线有较强的捕捉能力，能很好的把车道线作为前景信息从图像中判别出，减少了无效离散点和算力消耗。

技术领域

本发明涉及机器视觉检测的技术领域，尤其涉及到基于深度学习的车道线检测方法、系统、计算机及存储介质。

背景技术

城市道路智慧交通系统需要对交通路口的交通环境、态势进行感知与理解，交通路口的交通环境包括路口内的等待车辆、车道线以及交通信号灯等。城市交通路口的车道线检测对于智慧交通系统中合理控制不同向车道的交通信号灯时长、缓解交通拥堵有着极其重要的作用，当交通高峰期时，利用车道线检测，区分不同驶向的车道，合理分配每条车道、不同行驶方向的交通灯等待时长和通行时长对于缓解城市交通拥堵，能极大地提高交通行驶效率，避免交通事故发生。

车道线检测研究常用于自动驾驶辅助技术，几乎没有基于交通摄像枪的检测任务和数据集，本发明方法是把车道线检测技术应用于路口交通监控摄像枪，利用摄像枪获取图像数据并检测车道线。车道线的检测任务中，传统方法主要是利用图像分割和后处理方法，预测得出的车道线由离散点组成，导致车道线不连续，具体实现为采用性能较好的图像分割网络得出车道Mask，利用Mask提取车道特征，最后使用后处理方法，得出能表示车道线走势的坐标点，但这些网络模型的推理过程需占用较大的显存，并且需要算力较高的设备支持，无法实现实时检测且无法嵌入到交通摄像枪中；目前研究中有人提出直接使用深度学习的Transformer得到对应车道线的方法，该类方法能得出平滑的车道线，且拥有较快的推理速度，但其具有大量使用魔法数字、泛化性不好的特点，并且缺乏车道线的预测推理能力，针对车道线不明显的状况，这类方法无法对车道线进行准确的检测和预测推理。

发明内容

本发明的目的在于克服现有技术的不足，提供一种能克服图像拍摄角度、即使在车道线特征弱或是被遮挡场景下也能进行检测、检测速度快、检测准确率高的基于深度学习的车道线检测方法。

为实现上述目的，本发明所提供的技术方案为：

基于深度学习的车道线检测方法，包括以下步骤：

S1、通过交通监控摄像枪拍摄带有车道线的视频，并从视频中截取多张带有车道线的图像，形成数据集；

S2、对步骤S1形成的数据集进行预处理，并将预处理后的数据集划分为训练集和测试集；

S3、构建双分支的车道线检测模型，两个分支分别设特征提取器和图像分割器；

S4、通过训练集训练双分支的车道线检测模型；

S5、通过训练好的双分支的车道线检测模型对测试集进行检测。

进一步地，所述步骤S2中，对步骤S1形成的数据集进行预处理，具体包括：

S2-1、使用图像标注工具labelme中的linestrip标注图像中的车道线并生成json文件；

S2-2、利用Tusimple处理方法对json文件进行处理，生成二值图，作为标签信息；

S2-3、采用仿射变换、旋转和色彩变换对生成的二值图进行数据增强，拓展数据集；

S2-4、利用Python并引入第三方库OpenCV读取拓展后的数据集，对数据集进行数据清洗。