[发明专利]一种基于多监督网络的道路场景图像语义分割方法

权利要求书

1.一种基于多监督网络的道路场景图像语义分割方法，其特征在于，包括训练阶段和测试阶段两个过程；

所述的训练阶段过程的具体步骤为：

步骤1_1：选取多幅原始道路场景RGB图像和对应的原始Thermal热红外图像以及真实语义分割图像，将每幅原始道路场景RGB图像和原始Thermal热红外图像分别通过裁剪、明亮度、翻转方式进行数据增强之后获得初始道路场景RGB图像和初始Thermal热红外图像，由多幅初始道路场景RGB图像和初始Thermal热红外图像以及对应的真实语义分割图像构成训练集；

步骤1_2：构建卷积神经网络；

步骤1_3：将训练集输入到卷积神经网络中进行训练，卷积神经网络输出训练集中的每幅原始道路场景RGB图像对应的七个预测图集合；

步骤1_4：将每幅原始道路场景RGB图像对应的真实语义分割图像处理成9幅独热编码图像并将9幅独热编码图像的集合记为J_true，分别计算9幅独热编码图像的集合J_true与对应的七个预测图集合之间的损失函数值，将七个损失函数值之和作为最终损失值；

步骤1_5：重复执行步骤1_3和步骤1_4共V次，直到卷积神经网络收敛达到饱和，获得卷积神经网络分类训练模型；将此时得到的网络的权值矢量和偏置作为卷积神经网络分类训练模型的最优权值矢量和最优偏置项；

所述的测试阶段过程的具体步骤为：

步骤2：将多幅待语义分割的原始道路场景RGB图像和原始Thermal热红外图像输入卷积神经网络分类训练模型中，利用最优权值矢量和最优偏置项进行预测，获得对应的语义分割预测图。

2.根据权利要求1所述的一种基于多监督网络的道路场景图像语义分割方法，其特征在于：所述卷积神经网络包括编码模块和解码模块两部分，编码模块与解码模块相连；

编码模块包括10个编码模块，解码模块包括语义AHLS模块、多任务监督RM模块、5个信息融合FM模块、5个特征融合AMMF模块和3个语义监督MLF模块；

第一编码模块依次经第二编码模块、第三编码模块、第四编码模块和第五编码模块后与语义AHLS模块相连，第六编码模块依次经第七编码模块、第八编码模块、第九编码模块和第十编码模块后与语义AHLS模块相连，第一编码模块的输入为初始道路场景RGB图像，第六编码模块的输入为初始Thermal热红外图像；

第五编码模块、语义AHLS模块和第十编码模块与第一特征融合AMMF模块相连，第一特征融合AMMF模块的输出与语义AHLS模块的输出分别输入到第一信息融合FM模块的第一输入和第二输入中，第一信息融合FM模块的输出和语义AHLS模块的输出同时输入到第一语义监督MLF模块，第一语义监督MLF模块的输出作为卷积神经网络的第二输出；

第四编码模块的输出、第一信息融合FM模块的输出和第九编码模块的输出输入到第二特征融合AMMF模块，第二特征融合AMMF模块的输出与语义AHLS模块的输出分别输入到第二信息融合FM模块的第一输入和第二输入中，第二信息融合FM模块的输出、第三编码模块的输出和第八编码模块的输出同时输入到第三特征融合AMMF模块，第三特征融合AMMF模块的输出与语义AHLS模块的输出分别输入到第三信息融合FM模块的第一输入和第二输入中，第二信息融合FM模块的输出和第三信息融合FM模块的输出同时输入到第二语义监督MLF模块，第二语义监督MLF模块的输出作为卷积神经网络的第三输出；

第二编码模块的输出、第三信息融合FM模块的输出和第七编码模块的输出输入到第四特征融合AMMF模块，第四特征融合AMMF模块的输出与语义AHLS模块的输出分别输入到第四信息融合FM模块的第一输入和第二输入中，第四信息融合FM模块的输出、第一编码模块的输出和第六编码模块的输出输入到第五特征融合AMMF模块，第五特征融合AMMF模块的输出与语义AHLS模块的输出分别输入到第五信息融合FM模块的第一输入和第二输入中，第四信息融合FM模块的输出和第五信息融合FM模块的输出同时输入到第三语义监督MLF模块，第三语义监督MLF模块的输出作为卷积神经网络的第四输出；第五信息融合FM模块的输出作为卷积神经网络的第一输出，第五信息融合FM模块的输出输入到多任务监督RM模块，多任务监督RM模块的第一输出、第二输出和第三输出分别作为卷积神经网络的第五输出、第六输出和第七输出。