[发明专利]使用车道掩码检测包含于输入图像的车道线的方法及装置

说明书

本发明涉及使用车道掩码检测车道线的方法及装置。所述方法包括：(a)(i)对输入图像适用第一卷积运算生成最终特征图，(ii)生成了分割得分图及嵌入特征图的状态下，学习装置获取最终特征图、分割得分图及嵌入特征图的步骤；(b)车道掩蔽层(i)从最终特征图上识别对应于包含在输入图像的车道线的一个以上的车道线后补，(ii)对与车道线后补对应的一个以上的区域赋予加权值以在最终特征图上生成车道掩码，(iii)生成掩蔽的特征图的步骤；(c)生成车道特征图的步骤；(d)生成softmax得分图，生成车道参数的步骤；(e)(i)生成柔性最大值损失值，(ii)生成直线拟合损失值，(iii)反向传播柔性最大值损失值及直线拟合损失值以学习第一FC层、第二FC层及卷积层的参数的步骤。

技术领域

本发明涉及使用车道掩码检测车道线的方法及装置、以及利用其的测试方法及测试装置。更具体来讲，涉及的学习方法及装置、利用其的测试方法及测试装置中，所述学习方法为使用车道掩码(Lane Mask)检测包含于输入图像的一个以上的车道线的方法，其特征在于，包括：(a)(i)第一CNN(Convolu tion Neural Network:卷积神经网络)对所述输入图像适用至少一个第一卷积运算生成最终特征图，(ii)使用所述最终特征图生成了分割得分图(segmentati on score map)及嵌入特征图(embedded feature map)的状态下，学习装置使第二CNN获取所述最终特征图、所述分割得分图及所述嵌入特征图的步骤；(b)所述学习装置使所述第二CNN的车道掩蔽层(i)参照所述分割得分图及所述嵌入特征图从所述最终特征图上识别对应于包含在所述输入图像的所述车道线的一个以上的车道线后补，(ii)对与所述车道线后补对应的一个以上的区域赋予一个以上的加权值以在所述最终特征图上生成所述车道掩码，(iii)参照所述最终特征图及所述车道掩码生成掩蔽的特征图(masked featur emap)的步骤；(c)所述学习装置使所述第二CNN的卷积层对掩蔽的所述特征图适用至少一个第二卷积运算生成车道特征图(lane feature map)的步骤；(d)所述学习装置使所述第二CNN的第一FC层参照所述车道特征图生成柔性最大值得分图(softmaxscore map)，使所述第二CNN的第二FC层参照所述车道特征图生成一个以上的车道参数的步骤；(e)所述学习装置(i)使所述第二CNN的多项逻辑斯蒂损失层(multinomial logisticloss layer)参照所述柔性最大值得分图及与其对应的第一GT生成柔性最大值损失值，(ii)使所述第二CNN的直线拟合损失层参照所述车道参数及与其对应的第二GT生成直线拟合损失值，(iii)反向传播所述柔性最大值损失值及所述直线拟合损失值以学习包含于所述第二CNN的所述第一FC层、所述第二FC层及所述卷积层中至少一部分的参数的步骤。

背景技术

深度卷积神经网络(Deep Convolution Neural Network or Deep CNN)是深度学习领域发生的惊人发展的核心。CNN为了解决文字识别问题在90年代便已有使用，而近来才开始广泛用于机器学习(Machine Learning)领域。例如，CNN在2012年在图像识别挑战赛(ImageNet Large Scale Visual Recognition Challenge)打败对手获胜。之后，CNN在机器学习领域作为非常有用的工具使用。

另外，图像分割是接收输入的图像(训练图像或测试图像)并作为输出生成标签图像的方法。随着近来深度学习(Deep learning)技术受到关注，具有分割方面也越来越多地使用深度学习的趋势。

近来，在汽车自动巡航系统中广泛使用深度学习。对自动巡航系统而言，从表示自动巡航状况的图像中识别车道线是非常重要的。因此自动巡航系统(i)利用分割图像的结果检测出所有车道线后补，(ii)利用像素嵌入结果分类各车道线以识别各车道线。

然而，这种现有的车道线识别方法具有需要在自动巡航系统的输出适用(i)用于过滤错误地被识别为车道线的非车道线区域的作业与(ii)作为拟合车道线的作业的后处理作业的问题。

发明内容