[发明专利]基于多任务监督的无人驾驶实时道路场景语义分割方法

说明书

本发明公开了一种基于多任务监督的无人驾驶实时道路场景语义分割方法，应用于道路场景语义分割技术领域，步骤包括：选取Q幅原始道路场景图像的彩色图像、热力图像和对应的真实语义分割图像，构成训练集；使用MobileNetV2轻量级网络作为特征提取器，并使用改进的高效空洞空间特征金字塔结构提取图像深层次语义特征，使用密集连接结构对多层次特征进行融合，构建卷积神经网络；将训练集中原始道路场景图像的彩色图像、热力图像输入到卷积神经网络中进行训练，得到预测图像；计算预测图像和对应的原始图像之间的损失函数值；依据损失函数值，得到最终权值矢量和最终偏置项。本发明能提高图像分割效率和准确性，达到实时性要求。

技术领域

本发明涉及无人驾驶道路场景语义分割技术领域，更具体的说是涉及一种基于多任务监督的无人驾驶实时道路场景语义分割方法。

背景技术

随着自动驾驶技术、计算机视觉和自然语言处理技术的不断发展，无人驾驶汽车逐渐广泛地出现在我们的生活当中。无人驾驶汽车在行驶过程中需要实时精确地理解周围的场景并对突发事件快速做出决策，避免交通事故。因此，高效精确的道路场景语义分割正成为计算机视觉领域研究的热点之一。

语义分割任务是图像理解的一个基础任务，也是计算机视觉领域中有待解决的一个重要任务。在过去的几年里，深度学习技术，尤其是卷积神经网络，在语义分割任务上显示出了巨大的潜力。通常，语义分割任务使用的全卷积网络架构可以分为两类：基于编码器-解码器结构和基于膨胀卷积结构。编码器-解码器结构首先使用编码器提取图像特征，然后使用解码器对空间分辨率进行恢复；膨胀卷积结构为了减少编码部分空间信息的丢失，使用扩张卷积来增加全局的感受野，使得模型能够兼顾全局语义信息。

尽管膨胀卷积结构具有保持空间信息的优点，但如果一直使用较高的空间分辨率不进行下采样会使得消耗内存较大，并且会对模型的推理速度有较大影响，无法达到实时性的要求。此外，由于卷积网络会随着层数的加深学到更丰富的特征，高内存消耗使得网络难以有较深层次的结构。

因此提供一种分割效率高、分割准确度高，且能够达到实时性要求的无人驾驶实时道路场景语义分割方法是本领域技术人员亟需解决的问题。

发明内容

本发明提供了一种基于多任务监督的无人驾驶实时道路场景语义分割方法，结合了低层次和高层次的特征信息，使用密集连接结构进行图像解码，并使用MobileNetV2轻量级网络作为特征提取器，用改进的高效空洞空间特征金字塔结构提取图像深层次语义特征，并且对于夜间道路场景，不良的光照条件给夜间场景理解带来了巨大的挑战，本发明使用热力图进行信息的补充，采用多任务监督方法，其分割效率高、分割准确度高，能够达到实时性的要求。

为了实现上述目的，本发明提供如下技术方案：

一种基于多任务监督的无人驾驶实时道路场景语义分割方法，具体步骤包括：

选取Q幅原始道路场景图像的彩色图像、热力图像和对应的真实前景背景图、真实语义分割图、真实边界图，构成训练集；

构建卷积神经网络，所述卷积神经网络使用MobileNetV2轻量级网络作为特征提取器，并使用改进的高效空洞空间特征金字塔结构提取图像深层次语义特征，使用密集连接结构对多层次特征进行融合；

将所述训练集中原始道路场景图像的彩色图像、热力图像作为原始输入图像，输入到所述卷积神经网络中进行训练，得到对应的前景背景预测图、语义分割预测图和边界预测图；

计算训练得到的前景背景预测图、语义分割预测图、边界预测图和对应的真实前景背景图、真实语义分割图、真实边界图之间的损失函数值；

重复训练并计算损失函数值，将最后一次训练结果确定为最终权值矢量和最终偏置项。

进一步的，所述Q幅原始道路场景图像选用MFNet中报告的道路场景图像数据库中的图像。