[发明专利]基于ResNeSt和自注意力蒸馏的智能车辆车道线检测方法

说明书

本发明公开ResNeSt和自注意力蒸馏的智能车辆车道线检测方法，该方法基于深度学习，以卷积神经网络和编码‑解码框架为核心，设计了一个车道线检测网络；使用ResNeSt作为主干网络，并采用自注意力蒸馏技术，以增强网络的特征提取能力；利用传感器获取的图像作为输入，对输入图像进行预处理，以提高网络的速度和精度；网络设计了两个分支，利用二进制分支实现车道线的语义分割，利用嵌入分支实现车道线的实例分割，获取每一条车道线的实例。本发明的方法可在不同的因素影响下，提高车道线检测的准确性和鲁棒性，为驾驶员辅助系统和智能车辆系统提供更准确的感知信息。

技术领域

本发明涉及智能车辆的车道线检测领域，特别是涉及基于ResNeSt和自注意力蒸馏的智能车辆车道线检测方法。

背景技术

随着智能车辆的快速发展，车道线检测在高级辅助驾驶系统和智能驾驶系统中起着至关重要的作用。环境感知是智能车辆系统的基础，是车辆进行后续决策、规划的前提。其中对道路进行感知的车道线检测是环境感知的重要组成部分，可靠的车道线检测能帮助后续的车道偏离和轨迹规划决策做出正确判断，让车辆正确地行驶在车道内，保障行车安全；而效果不佳的车道线检测则可能导致车辆在行驶过程中出现错误判断，影响车辆行驶安全。另一方面，由于车道线标记种类繁多，路况复杂多变，车道线标记固有的细长特征等诸多因素影响，车道线检测算法成为一项具有挑战性的任务。

目前的车道线检测方法大致可以分为两类：一类是基于传统的计算机视觉，另一类是基于深度学习的。基于传统视觉的车道线提取方法大多是通过对车道标线的边缘特征、颜色特征和几何特征的分析来提取车道线区域，这种方法在特定场景下可以很好地工作，但是需要手动调整滤波算子，当情况发生较大变化时，这些方法可能存在缺陷，严重影响识别精度；而基于深度学习的车道检测方法可以通过对特征的自动分析和学习来检测车道线，具有较好的鲁棒性，例如公开号为：CN111814623A、公开日为2020/10/23的中国专利：一种基于深度神经网络的车辆车道偏离视觉检测方法，该专利公布的检测方法基于神经网络进行识别，精度较高，但是环境复杂时，不能很好地识别输入的图片，存在较大误差，该神经网络模型存在一定的缺陷，因此，需要设计一种更精确识别的车辆车道线检测方法。

发明内容

本发明提供一种基于ResNeSt和自注意力蒸馏(Self Attention Distillation，SAD)的车道线检测方法。该方法可在不同的照明条件、道路上车辆的遮挡、道路上的其他标记等多种因素影响下，提高车道线检测的准确性和鲁棒性，为驾驶员辅助系统和智能车辆系统提供更准确的感知信息。

本发明的技术方案如下：

基于ResNeSt和自注意力蒸馏的智能车辆车道线检测方法，包括以下步骤：

S1、对训练图像进行预处理；

S2、制作训练集：

对每一张图像制作两个标签作为训练集的数据，其中一个作为训练二进制分支的真实标签，另一个作为训练嵌入分支的真实标签；

S3、将训练集的图像输入多分支卷积神经网络进行训练：

卷积神经网络设有编码-解码结构；编码器对训练数据进行编码，编码器中使用ResNeSt作为主干网络，并设有自注意力蒸馏路径；解码器对编码器输出的特征图进行反卷积，实现上采样和分类；解码器的最后一层，设有两个分支，分别为二进制分支和嵌入分支，利用二进制分支进行语义分割、嵌入分支进行实例分割，两个分支均使用卷积核为1×1的卷积层降低特征映射的维数，作为二进制分支和嵌入分支的输出；计算输出的特征图像与输入的真实标签之间的损失，然后使用梯度下降算法更新神经网络模型的参数，训练直至网络收敛；

S4、训练完毕后，将实际的道路图片输入多分支卷积神经网络，得到两个输出，一个是通过二进制分支进行语义分割后的输出，另一个是通过嵌入分支进行实例分割后的输出，之后进行后处理，如下：