[发明专利]结合图像增强和深度卷积神经网络的道线检测方法

权利要求书

1.一种结合图像增强和深度卷积神经网络的道线检测方法，其特征在于，该方法包括：

(1)获取待处理的含有道线的彩色图像I，包含三个通道I⁽⁰⁾、I⁽¹⁾和I⁽²⁾，分别对应红、绿、蓝颜色分量，对I进行K次基于限制对比度的自适应直方图均衡化算法以增强输入图像的对比度，产生K幅增强图像，具体通过滑窗处理图像，统计滑窗所覆盖的块图像的灰度直方图，并对灰度级的幅值进行修正，以修正后的直方图计算每个灰度级的映射函数，以所有滑窗计算所得的映射函数值的均值作为增强图像中的像素值；其中的第k次处理针对第c个通道I^(c)，其中k＝0,1,...,K-1，c等于k除以3的余数；

(2)构建用于道线检测的深度卷积神经网络，包括输入模块、空间注意力模块、特征提取模块和检测模块四个部分，步骤(1)中彩色图像I的三个分量图像和步骤(1)中以限制对比度的自适应直方图均衡化算法对三个分量图像进行对比度增强处理所产生的K幅增强图像堆叠成包含K+3个通道的张量，作为深度卷积神经网络的输入；

(3)输入模块按数据前向传播时的数据流向，输入数据首先经过一个包含64个7×7卷积核、卷积步长为2的卷积层，接在其后的为批规范化操作和ReLU激活操作，输入模块的最后为采样核大小为3×3、进行最大池化操作、步长为2的池化层；

设输入模块的输出x为一个M₁×N₁×C的特征图，输入到空间注意力模块，其中M₁和N₁分别代表特征图的高度和宽度，C为通道数；

(4)空间注意力模块对输入特征图进行两次池化操作，其中一次为均值池化，另一次为最大值池化，两次池化操作的采样核大小为1×1×C，卷积步长为1；将上述两次池化操作形成的两个M₁×N₁×1的特征图堆叠成一个M₁×N₁×2特征图，经过包含1个7×7卷积核、卷积步长为1的卷积层，最后以Sigmoid函数计算得到M₁×N₁×1大小的空间注意力图；

(5)以空间注意力图中的元素作为权值，输入模块的输出特征图x的每个通道所有位置的值与空间注意力图对应位置的权值作乘法运算，形成权值修正后的特征图，输入到特征提取模块；

(6)采用ResNet50的第2、3和4级卷积层组作为特征提取模块，其中，第3级卷积层组的输出除了输入到第4级卷积层组之外，另有一路输入到一个包含5n_B个大小为1×1的卷积核、卷积步长为1的卷积层，其中n_B为预设的每个锚点位置的检测框数目，且记该卷积层的输出的特征图为F₁；第4级卷积层组的输出经过一个包含5n_B个大小为1×1的卷积核、卷积步长为1的卷积层，产生的特征图经上采样后与F₁作逐个对应元素的求和运算，产生一个M₂×N₂×5n_B的特征图F；特征图F的高度和宽度方向的尺寸分别为M₂和N₂，通道数目为5n_B；

(7)步骤(6)得到的特征图F中M₂×N₂平面上的每个点对应一个锚点，检测模块根据某个锚点(m,n)在所有通道上的值判断该锚点位置是否存在道线块，以及道线块的大小和形状，具体地，设i为整数，且1≤i≤n_B，第i通道的值代表在该锚点采用第i个预设检测框检测到道线块的概率；从第n_B+1到第5n_B个通道，每4个通道对应1个预设检测框检测所得道线块的位置参数，其中，通道n_B+4(i-1)+1和n_B+4(i-1)+2的值分别代表第i个预设检测框中心与实际检测框中心之间宽度方向和高度方向的偏移，通道n_B+4(i-1)+3的值代表预设检测框宽度与实际检测框宽度的比值，通道n_B+4i的值代表预设检测框与实际检测框高度的比值；

(8)由深度卷积神经网络检测所得的道线块的中心坐标，以Hough变换算法确定道线模型，即为检测出的道线。