[发明专利]一种基于多监督网络的道路场景图像语义分割方法

说明书

本发明公开了一种基于多监督网络的道路场景图像语义分割方法。本发明包括训练阶段和测试阶段两个过程；包括：选取多幅原始道路场景RGB图像和对应的原始Thermal热红外图像以及真实语义分割图像，对图像预处理后构成训练集；构建卷积神经网络；将训练集输入到卷积神经网络中进行训练，卷积神经网络输出七个预测图集合；计算最终损失值；重复上述步骤多次，获得卷积神经网络分类训练模型；输入多幅待语义分割的原始道路场景RGB图像和原始Thermal热红外图像，获得对应的语义分割预测图。本发明提高了RGB‑T道路场景图像的语义分割效率和准确度。

技术领域

本发明涉及了一种基于深度学习的道路场景语义分割方法，具体是涉及了一种基于多监督网络的道路场景图像语义分割方法。

背景技术

随着无人驾驶，场景理解，虚拟现实等技术的兴起，图像的语义分割逐渐成为计算机视觉及机器学习研究人员的研究热点，从交通场景理解和多目标障碍检测到视觉导航都可借由语义分割技术实现。目前，最常用的语义分割方法包括支持向量机、随机森林等算法。这些算法主要集中在二分类任务上，用于检测和识别特定物体，如道路表面、车辆和行人。这些传统的机器学习方法往往需要通过高复杂度的特征来实现，而使用深度学习来对交通场景进行语义分割简单方便，更重要的是，深度学习的应用极大地提高了图像像素级分类任务的精度。

采用深度学习的语义分割方法，直接进行像素级别端到端(end-to-end)的语义分割，其只需要将训练集中的图像输入进模型框架中训练，得到权重与模型，即可在测试集进行预测。卷积神经网络的强大之处在于它的多层结构能自动学习特征，并且可以学习到多个层次的特征。目前，基于深度学习语义分割的方法分为两种，第一种是编码-译码架构。编码过程通过池化层逐渐减少位置信息、抽取抽象特征；译码过程逐渐恢复位置信息。一般译码与编码间有直接的连接。第二种架构是带孔卷积(dilated convolutions)，抛弃了池化层，通过带孔卷积的方式扩大感知域，较小值的带孔卷积感知域较小，学习到一些部分具体的特征；较大值的带孔卷积层具有较大的感知域，能够学习到更加抽象的特征，这些抽象的特征对物体的大小、位置和方向等鲁棒性更好。

现有的道路场景语义分割方法大多采用深度学习的方法，利用卷积层与池化层相结合的模型较多，然而单纯利用池化操作与卷积操作获得的特征图单一且不具有代表性，从而会导致得到的图像的特征信息减少，最终导致还原的效果信息比较粗糙，分割精度低。

发明内容

本发明所要解决的技术问题是提供一种基于多监督网络的道路场景图像语义分割方法，其分割效率高，且分割准确度高。

本发明解决上述技术问题所采用的技术方案为：一种基于多监督网络的道路场景图像语义分割方法，方法包括训练阶段和测试阶段两个过程；所述的训练阶段过程的具体步骤为：

所述的训练阶段过程的具体步骤为：

步骤1_1：选取多幅原始道路场景RGB图像和对应的原始Thermal热红外图像以及真实语义分割图像，将每幅原始道路场景RGB图像和原始Thermal热红外图像分别通过裁剪、明亮度、翻转方式进行数据增强之后获得初始道路场景RGB图像和初始Thermal热红外图像，由多幅初始道路场景RGB图像和初始Thermal热红外图像以及对应的真实语义分割图像构成训练集；

步骤1_2：构建卷积神经网络；

步骤1_3：将训练集输入到卷积神经网络中进行训练，卷积神经网络输出训练集中的每幅原始道路场景RGB图像对应的七个预测图集合；

步骤1_4：将每幅原始道路场景RGB图像对应的真实语义分割图像处理成9幅独热编码图像并将9幅独热编码图像的集合记为Jtrue，分别计算9幅独热编码图像的集合Jtrue与对应的七个预测图集合之间的损失函数值，将七个损失函数值之和作为最终损失值；