[发明专利]一种基于关键点回归与多尺度特征融合的车道线检测方法

权利要求书

1.一种基于关键点回归与多尺度特征融合的车道线检测方法，其特征在于，包括以下步骤：

构建基于关键点与多尺度特征融合的车道线检测网络；

对基于关键点与多尺度特征融合的车道线检测网络进行训练；

将待测图像输入训练后得到的车道线检测网络中，得到车道线检测结果；

其中，车道线检测网络包括图像输入模块、特征提取模块、多尺度特征融合模块、车道线分类及关键点回归模块和图像输出模块，图像输入模块用于输入图像；特征提取模块用于提取输入图像的深层特征；多尺度特征融合模块用于对特征提取模块输出的不同尺度的特征图进行上采样和特征融合，得到上部特征图；车道线分类及关键点回归模块包括车道线分类模块和车道线回归模块，车道线分类模块用于根据特征提取模块输出的特征图输出车道线分布概率图，车道线回归模块用于根据上部特征图和特征提取模块输出的特征图生成关键点的坐标偏置值，根据车道线分布概率图和关键点的坐标偏置值得到车道线的预测置信度及其对应的所有关键点坐标序列KP_seq。

2.根据权利要求1所述的一种基于关键点回归与多尺度特征融合的车道线检测方法，其特征在于，在对车道线检测网络进行训练时，对车道线分类模块和车道线回归模块分别采用交叉熵损失函数及平滑L1损失函数，通过迭代训练优化车道线检测网络，使两种损失函数的组合达到最小值；

车道线检测网络整体损失函数包括分类损失、上部关键点回归损失和下部关键点回归损失，整体损失函数表示为：

其中，L_cls为车道线分类损失，L_reg为关键点回归损失，p_i为第i个网格预测车道线的置信度，为第i个网格的真实类别标签，u_i为第i个网格对应的k+1维上部关键点回归偏置值序列，为第i个网格对应的k+1维上部关键点真实偏置值序列，d_i为第i个网格对应的k维下部关键点回归偏置值序列，为第i个网格对应的k维下部关键点真实偏置值序列，为真实所有网格的真实标签，λ_cls、λ_up、λ_down分别为三部分损失对应的权重系数。

3.根据权利要求1所述的一种基于关键点回归与多尺度特征融合的车道线检测方法，其特征在于，关键点序列KP_seq表示为：

其中s表示关键点起始索引，v表示关键点消失索引，即k条等分线自底向上排列，起始关键点落在第s条等分线上，消失点落在第v条等分线上，X_seq[j]和Y_seq[j]分别表示关键点序列中第j条等分线上的关键点的横坐标和纵坐标，U代表关键点的并集。

4.根据权利要求1所述的一种基于关键点回归与多尺度特征融合的车道线检测方法，其特征在于，车道线检测网络还包括后处理模块，用于对输入的所有关键点坐标序列KP_seq筛选操作，输出最优的关键点坐标序列。

5.根据权利要求4所述的一种基于关键点回归与多尺度特征融合的车道线检测方法，其特征在于，所述筛选操作包括异常序列过滤、聚类、横坐标均衡化和非极大值抑制操作，异常序列过滤操作用于对不符合正常车道线分布规则的关键点坐标序列剔除，聚类操作用于将相似关键点坐标序列聚类，视为同一聚类簇，横坐标均衡化操作用于对聚类簇中同一等分线上的关键点横坐标取平均值作为聚类簇的横坐标，非极大值抑制操作用于去除置信度相对较小的关键点序列。