[发明专利]基于卷积神经网络跨模态融合的道路场景语义分割方法

说明书

本发明公开了一种基于卷积神经网络跨模态融合的道路场景语义分割方法，涉及深度学习的技术领域。本发明在训练阶段，构建卷积神经网络，其隐层包括两个初始神经网络块、八个残差神经网络块、两个融合块、三个解码块；使用原始的道路场景图像输入到卷积神经网络中进行训练，得到对应的三组预测图，分别为9幅语义分割预测图、两幅前景背景预测图、两幅边界预原测图；再分别计算这三组预测图构成的集合与对应的语义分割标签图集之间的损失函数值，将三个损失函数值相加得到最终的损失函数，通过训练获得卷积神经网络分类训练模型的最优权值矢量和偏置项。本发明提高了道路场景图像的语义分割效率，并且提升了准确度。

技术领域

本发明涉及深度学习领域，更具体的说是涉及一种基于卷积神经网络跨模态融合的道路场景语义分割方法。

背景技术

智能交通行业的兴起，使得语义分割在智能交通系统中有着越来越多的应用，从交通场景理解和多目标障碍检测到视觉导航都可借由语义分割技术实现。目前，最常用的语义分割方法包括支持向量机、随机森林等算法。这些算法主要集中在二分类任务上，用于检测和识别特定物体，如道路表面、车辆和行人。这些传统的机器学习方法往往需要通过高复杂度的特征来实现，而使用深度学习来对交通场景进行语义分割简单方便，更重要的是，深度学习的应用极大地提高了图像像素级分类任务的精度。

采用深度学习的语义分割方法，直接进行像素级别端到端(end-to-end)的语义分割，其只需要将训练集中的图像输入进模型框架中训练，得到权重与模型，即可在测试集进行预测。卷积神经网络的强大之处在于它的多层结构能自动学习特征，并且可以学习到多个层次的特征。目前，基于深度学习语义分割的方法分为两种，第一种是编码-译码架构。编码过程通过池化层逐渐减少位置信息、抽取抽象特征；译码过程逐渐恢复位置信息。一般译码与编码间有直接的连接。第二种架构是带孔卷积(dilated convolutions)，抛弃了池化层，通过带孔卷积的方式扩大感知域，较小值的带孔卷积感知域较小，学习到一些部分具体的特征；较大值的带孔卷积层具有较大的感知域，能够学习到更加抽象的特征，这些抽象的特征对物体的大小、位置和方向等鲁棒性更好。

现有的道路场景语义分割方法大多采用深度学习的方法，利用卷积层与池化层相结合的模型较多，然而单纯利用池化操作与卷积操作获得的特征图单一且不具有代表性，从而会导致得到的图像的特征信息减少，最终导致还原的效果信息比较粗糙，分割精度低。

发明内容

有鉴于此，本发明提供了提供一种基于卷积神经网络的道路场景语义分割方法，其分割效率高，且分割准确度高。

为了实现上述目的，本发明采用如下技术方案：

一种基于卷积神经网络跨模态融合的道路场景语义分割方法，包含以下步骤：

选取多幅原始的道路场景图像及每幅原始的道路场景图像对应的真实语义分割图像，由所述多幅原始的道路场景图像和所述每幅原始的道路场景图像对应的标签图构成训练集；

构建带有跨模态融合和注意力机制优化、恢复分辨率和增强语义信息的卷积神经网络；

将所述训练集输入到所述卷积神经网络中进行训练，得到所述训练集中的每幅原始的道路场景图对应的预测图；

获取所述预测图的加和损失函数值；

多次对神经网络进行训练得到卷积神经网络分类训练模型。

优选的，所述标签图包括热力图、彩色热力图像、语义分割标签图、前景标签图和边界标签图。

优选的，所述预测图包括语义分割预测图、前景背景预测图和边界预测图。

优选的，所述加和损失函数值的获取如下：