[发明专利]基于ResNeSt和自注意力蒸馏的智能车辆车道线检测方法

权利要求书

1.基于ResNeSt和自注意力蒸馏的智能车辆车道线检测方法，其特征在于，包括以下步骤：

S1、对训练图像进行预处理；

S2、制作训练集：

对每一张图像制作两个标签作为训练集的数据，其中一个作为训练二进制分支的真实标签，另一个作为训练嵌入分支的真实标签；

S3、将训练集的图像输入多分支卷积神经网络进行训练：

卷积神经网络设有编码-解码结构；编码器对训练数据进行编码，编码器中使用ResNeSt作为主干网络，并设有自注意力蒸馏路径；解码器对编码器输出的特征图进行反卷积，实现上采样和分类；解码器的最后一层，设有两个分支，分别为二进制分支和嵌入分支，利用二进制分支进行语义分割、嵌入分支进行实例分割，两个分支均使用卷积核为1×1的卷积层降低特征映射的维数，作为二进制分支和嵌入分支的输出；计算输出的特征图像与输入的真实标签之间的损失，然后使用梯度下降算法更新神经网络模型的参数，训练直至网络收敛；

S4、训练完毕后，将实际的道路图片输入多分支卷积神经网络，得到两个输出，一个是通过二进制分支进行语义分割后的输出，另一个是通过嵌入分支进行实例分割后的输出，之后进行后处理，如下：

得到语义分割的结果后，用语义分割的结果制作mask过滤掉嵌入分支输出中属于背景的部分，然后对其进行Meanshift聚类即得到属于不同车道线像素的聚类，获得真正的实例分割的结果；

得到实例分割的结果后，在拟合车道过程中，采用如下算法：

假设第i条车道的点集为A_i，而A_i中的点坐标为(x,y)，则有一系列的x(x₁,x₂,x₃,……,x_n)对应于相同的y值，然后对这些x计算平均值得到：

由此得到点的坐标为根据这一算法，得到每个车道的点集，最后通过三次样条插值得到最终的车道线检测结果输出；

其中，步骤S3中，特征图像与输入的真实标签之间的损失主要分三个部分；包括语义分割时的损失、实例分割时的损失、以及进行自注意力蒸馏时的损失；

对于语义分割时的损失，采用Dice Loss公式作为损失函数；

对于实例分割时的损失，采用pixel embedding的方法实现实例分割：

训练后，嵌入分支为每个像素输出一个3维向量，属于同一车道的向量之间的距离很小，不同车道线像素的向量之间的距离很大，所以使用修正后的损失函数，如下式：

式中，C表示聚类的个数，即车道线的条数；N_c为聚类C中的像素数量；μ_c为聚类C中的向量平均值；X_i为第i个像素的嵌入向量；δ_v为超参数，仅在向量与其聚类中心的距离大于δ_v时，才计算损失；δ_d为超参数，仅当聚类中心之间的距离小于δ_d时，才计算损失；[x]₊表示max(0,x)；下标A和B表示两个不同的车道线；

方差损失L_var将属于同一条车道线的像素点的嵌入向量拉向这条车道线向量的平均值，即让同一条车道线的像素之间的嵌入向量距离更近，形成一个聚类中心；

距离损失L_dist将聚类中心彼此推开，即让不同车道线的像素的向量之间的距离变大；

对于进行自注意力蒸馏时的损失，过程如下：

在通过自注意力蒸馏路径提取注意力图后，由于目标图比原始图小，所以要先对目标图进行上采样，然后对每个图执行softmax，然后计算两个注意力图之间的均方误差，自注意力蒸馏的损失函数公式如下：

Ψ(A_m)表示对特征图A_m进行注意力图提取、上采样和softmax操作；m为第m个block输出的特征图，M为block的总数；

所以总的损失函数由以下三项组成：

L_total＝αL_bin+β(L_var+L_dist)+γL_SAD

L_bin是用Dice Loss公式计算的语义分割时的损失，参数α,β和γ平衡了各个损失的影响；

其中，步骤S3中，编码器和解码器都由五个Block组成，每个Block内包含若干层卷积；

对于编码器，使用ResNeSt作为主干网络，ResNeSt使用拆分注意力，将每个块的特征图沿通道维度分成若干组，每个组再拆分成若干个部分，再把每个部分经过不同的卷积，最后每个组的特征表达是其各个部分特征图的加权组合，权重根据全局信息选择。