[发明专利]基于卷积神经网络跨模态融合的道路场景语义分割方法

权利要求书

1.一种基于卷积神经网络跨模态融合的道路场景语义分割方法，其特征在于，包含以下步骤：

选取多幅原始的道路场景图像及每幅原始的道路场景图像对应的真实语义分割图像，由所述多幅原始的道路场景图像和所述每幅原始的道路场景图像对应的标签图构成训练集；

构建带有跨模态融合和注意力机制优化、恢复分辨率和增强语义信息的卷积神经网络；

将所述训练集输入到所述卷积神经网络中进行训练，得到所述训练集中的每幅原始的道路场景图对应的预测图；

获取所述预测图的加和损失函数值；

多次对神经网络进行训练得到卷积神经网络分类训练模型。

2.根据权利要求1所述的一种基于卷积神经网络跨模态融合的道路场景语义分割方法，其特征在于，所述标签图包括热力图、彩色热力图像、语义分割标签图、前景标签图和边界标签图。

3.根据权利要求1所述的一种基于卷积神经网络跨模态融合的道路场景语义分割方法，其特征在于，所述预测图包括语义分割预测图、前景背景预测图和边界预测图。

4.根据权利要求3所述的一种基于卷积神经网络跨模态融合的道路场景语义分割方法，其特征在于，所述加和损失函数值的获取如下：

利用Lovász-Softmax损失函数计算分割标签图的损失函数值，利用分类交叉熵计算前景背景标签图的损失函数值和边界标签图的损失函数值，分割标签图的损失函数值，前景背景标签图的损失函数值和边界标签图的损失函数值相加获得加和损失函数值。

5.根据权利要求1所述的一种基于卷积神经网络跨模态融合的道路场景语义分割方法，其特征在于，构建带有跨模态融合和注意力机制优化、恢复分辨率和增强语义信息的卷积神经网络具体过程如下：

第一输入层、第一初始神经网络块、第一残差神经网络块、第二残差神经网络块、第三残差神经网络块和第四神经网络块依次连接，第二输入层、第二初始神经网络块、第五残差神经网络块、第六残差神经网络块、第七残差神经网络块和第八残差神经网络块依次连接，第一初始神经网络块与第二初始神经网络块的输出共同作为第一融合块的输入，第一融合块的输出记为第一侧边输出，第一残差神经网络块与第五残差神经网络块的输出作为第二融合块的输入，第二融合块的输出记为第二侧边输出，将第二残差神经网络块和第六残差神经网络块的输出做元素的加和，记为第三侧边输出，将第三残差神经网络块输出与第七残差神经网络块输出的加和记为第四侧边输出，将第四残差神经网络块输出与第八残差神经网络块输出的加和记为第五侧边输出；

将经过第三过渡层的所述第五侧边输出作为第一解码块的输入，所述第一解码块的输出与经过第二过渡层的所述第四侧边输出的元素加和作为第二解码块的输入，所述第二解码块的输出与经过第一过渡层的所述第三侧边输出的元素加和作为第三解码块的输入，将所述第三解码块的输出记为指导特征，将所述指导特征进行二倍双线性插值作为第一输出层的输入；

将经过第一过渡层的所述第三侧边输出进行双线性插值，分辨率变为两倍后与所述第二侧边输出元素相加，将所得加和与所述指导特征进行元素相乘，将所得乘积经过二倍双线性插值，将经过插值后的特征作为第二输出层的输入；

将所述第一侧边输出与经过二倍双线性插值处理过的所述指导特征进行元素相乘，将所得乘积作为第三输出层的输入；

所述第一输入层中输入训练集中的原始的道路场景图像，所述第一输入层输出原始的道路场景图像的R通道分量、G通道分量和B通道分量，第二输入层中输入原始的道路场景图像对应的热力图，所述第二输入层输出原始的道路场景图像对应的热力图像。

6.根据权利要求1所述的一种基于卷积神经网络跨模态融合的道路场景语义分割方法，其特征在于，跨模态融合和注意力机制优化通过融合块实现，所述融合块具体连接关系如下：

第一输入端后依次连接最大值选择层和第一卷积层，记输出为A，第二输入端与A进行像素加和，记输出为a，第二输入端与a做像素乘积，记输出为B，A与B做像素加和得到C，C输入第二卷积层得到D，所述第二卷积层后依次连接最大值池化层和第三卷积层，所述第三卷积层的输出与D做像素乘积得到输出。

7.根据权利要求1所述的一种基于卷积神经网络跨模态融合的道路场景语义分割方法，其特征在于，恢复分辨率和增强语义信息通过解码块实现，所述解码块的具有连接关系如下：

输入像素经过三个卷积层后与所述输入像素做像素加和并输入到上采样层中，得到输出。