[发明专利]一种有效融合神经网络特征的道路场景语义分割方法

说明书

本发明公开了一种有效融合神经网络特征的道路场景语义分割方法，其在训练阶段构建卷积神经网络，其包括输入层、隐藏层和输出层，隐藏层包括由3个神经网络块组成的空间特征提取通道、由5个神经网络块组成的背景特征提取通道、由第5个融合块组成的特征融合通道；将训练集中的每幅原始的道路场景图像输入到卷积神经网络中进行训练，得到每幅原始的道路场景图像对应的12幅语义分割预测图；通过计算每幅原始的道路场景图像对应的12幅语义分割预测图构成的集合与对应的真实语义分割图像处理成的12幅独热编码图像构成的集合之间的损失函数值，得到卷积神经网络训练模型；在测试阶段利用卷积神经网络训练模型进行预测；优点是分割准确度高，鲁棒性强。

技术领域

本发明涉及一种语义分割方法，尤其是涉及一种有效融合神经网络特征的道路场景语义分割方法。

背景技术

语义分割是许多计算机视觉应用的基本技术，如场景理解、无人驾驶等。随着卷积神经网络特别是全卷积神经网络(FCN)的发展，在基准测试中取得了许多有前途的成果。全卷积神经网络具有典型的编码器-解码器结构，语义信息首先通过编码器嵌入到特征图中，解码器负责生成分割结果。通常，编码器是通过预先训练的卷积模型来提取图像特征，解码器包含多个上采样组件来恢复分辨率。尽管编码器最重要的特征图可能具有高度的语义性，但由于分辨率不足，因此它在分割图中重建精确细节的能力有限，这在现代主干模型中非常常见。语义分割既需要丰富的空间信息，又需要相当大的感受野。现代语义分割框架通常将预先训练的主干卷积模型的低级和高级特征结合起来，以提高性能。最常用的U-shape网络，如U-Net、FusionNet等，都是将低级特征直接加到高级特征中，以弥补损失的信息。但是由于语义层次和空间分辨率的差异，低层次和高层次特征的简单融合可能不太有效。若将语义信息引入低级特征和高级特征，将分辨率细节转换为高级特征，则对于以后的融合更为有效。

发明内容

本发明所要解决的技术问题是提供一种有效融合神经网络特征的道路场景语义分割方法，其分割准确度高，且鲁棒性强。

本发明解决上述技术问题所采用的技术方案为：一种有效融合神经网络特征的道路场景语义分割方法，其特征在于包括训练阶段和测试阶段两个过程；

所述的训练阶段过程的具体步骤为：

步骤1_1：选取Q幅原始的道路场景图像及每幅原始的道路场景图像对应的真实语义分割图像，并构成训练集，将训练集中的第q幅原始的道路场景图像记为{I^q(i,j)}，将训练集中与{I^q(i,j)}对应的真实语义分割图像记为然后采用独热编码技术将训练集中的每幅原始的道路场景图像对应的真实语义分割图像处理成12幅独热编码图像，将处理成的12幅独热编码图像构成的集合记为其中，道路场景图像为RGB彩色图像，Q为正整数，Q≥200，q为正整数，1≤q≤Q，1≤i≤W，1≤j≤H，W表示{I^q(i,j)}的宽度，H表示{I^q(i,j)}的高度，I^q(i,j)表示{I^q(i,j)}中坐标位置为(i,j)的像素点的像素值，表示中坐标位置为(i,j)的像素点的像素值。

步骤1_2：构建全卷积神经网络：全卷积神经网络包括输入层、隐藏层和输出层，隐藏层采用编码-解码架构，隐藏层包括一条空间特征提取通道、一条背景特征提取通道、一条特征融合通道，空间特征提取通道由依次设置的第1个神经网络块、第2个神经网络块、第3个神经网络块组成，背景特征提取通道由依次设置的第4个神经网络块、第5个神经网络块、第6个神经网络块、第7个神经网络块、第8个神经网络块组成，特征融合通道由依次设置的第1个融合块、第2个融合块、第3个融合块、第4个融合块、第5个融合块组成；

对于输入层，其输入端接收一幅输入图像的R通道分量、G通道分量和B通道分量，其输出端输出输入图像的R通道分量、G通道分量和B通道分量给隐藏层；其中，要求输入层的输入端接收的输入图像的宽度为W、高度为H；