[发明专利]一种基于自监督学习显著性估计像素嵌入的道路检测方法

说明书

本发明公开了一种基于自监督学习显著性估计像素嵌入的道路检测方法，该方法首先构建道路检测模型，道路检测模型由用于生成目标初始掩码的显著性估计模块、进一步改善道路分割掩码的像素嵌入学习模块复合而成；本发明方法基于图像级损失、应用全连接的条件随机场的空域一致性更新掩码预测图，利用时域融合结果更新监督信息用于迭代训练全卷积网络，使用结构感知的四元损失函数，使得属于同一类别像素间的嵌入空间距离小于属于不同类别像素间的嵌入空间距离。本发明方法能够灵活扩展自监督方法到复杂的交通场景中，并能够有效提高无像素级标注情况下的道路检测的准确率。

技术领域

本发明涉及道路检测技术领域，具体涉及一种基于自监督学习显著性估计像素嵌入的道路检测方法。

背景技术

道路检测能够自动识别图像中的道路区域，同时完成道路的分类和定位任务。而且道路检测是自动驾驶，交通监控，场景理解和图像检索等任务的基本模块，因此，道路检测在过去的十年中一直是活跃的研究领域。

近年来，深度学习特别是深度卷积神经网络(deep convolutional neuralnetworks,DCNNs)的发展，在道路检测任务中得到了成功应用，而有监督学习使得模型能够高效理解道路特征，从而准确定位正确的道路及位置，使得道路检测取得长足发展。然而，有监督学习需要大量繁琐的劳动密集型的像素级标注过程。另外，当前方法均从以目标为中心的图像中学习表征，这在复杂的交通场景中会产生模棱两可的结果。针对这个问题，一些现有方法利用自监督方法学习与最终任务相关的前置任务，但因为没有明确地学习语义像素嵌入，且大多数方法都依赖于图像级标注，并不能保证预测结果可以将道路区域与复杂环境中的其他目标区域分开，因而并不利于道路检测。

发明内容

本发明的目的在于针对现有技术的不足，提供一种基于自监督学习显著性估计像素嵌入的道路检测方法，该方法能够灵活有效地将当前的自监督方法扩展到复杂的交通场景，并设计一种新的方法来适当地探索像素空间中的结构信息以增强判别能力，从而提升道路检测的准确率。

本发明的目的是通过以下技术方案来实现的：一种基于自监督学习显著性估计像素嵌入的道路检测方法，该方法包括以下步骤：

(1)构建道路检测模型，包括用于生成目标初始掩码的自监督学习显著性估计模块、进一步改善道路分割掩码的像素嵌入学习模块；

所述自监督学习显著性估计模块的构建方法如下：

输入原始图像x，通过手工方法生成图像的初始显著性预测图，将初始显著性预测图二值化为伪标签；全卷积网络通过伪标签和图像级损失进行学习；

在全卷积网络的学习过程中，利用空域一致性和时域融合结果更新监督信息用于迭代训练全卷积网络，实现自监督学习，具体为：不同epoch下的显著性预测图，应用全连接的条件随机场的空域一致性更新掩码预测图；利用训练过程中每个epoch的CRF更新结果融合历史显著性预测图；将融合后的历史显著性预测图作为监督信息，微调全卷积网络；

所述像素嵌入学习模块的构建方法如下：

将原始图像x作为基于编码器-解码器结构的嵌入网络的输入，在嵌入网络的学习过程中，将原始图像x的全部像素映射到嵌入空间，通过自监督学习显著性估计模块得到的历史显著性预测图量化得到初始道路区域，将原始图像x中初始道路区域之外的像素通过k-means聚类算法分成C类区域，每个类别区域的像素嵌入取平均值，得到该类别的平均嵌入，通过优化代价函数使得原始图像空间中外观相似的像素在嵌入空间中相互靠近，外观不相似的像素在嵌入空间中相互远离，从而使得属于同一类别像素间的嵌入空间距离小于属于不同类别像素间的嵌入空间距离；

(2)得到检测结果：利用训练集训练所述道路检测模型；测试时将待检测图像输入道路检测模型，得到图像中每个像素在嵌入空间的映射结果，映射结果与道路类别平均嵌入做差，并与门限比较，从而判断道路区域。