[发明专利]一种基于对抗神经网络的语义分割方法

权利要求书

1.一种基于对抗神经网络的语义分割方法，其特征在于：包括以下步骤，

S100～收集道路损伤图像数据集，并按比例划分为训练数据集和测试数据集，训练数据集用来训练对抗神经网络模型，测试数据集用来验证对抗神经网络模型的好坏；

S200～构建Resnet-50网络，当做基准预训练网络，输入道路损伤图像训练集，进行预训练；

S300～训练对抗神经网络的分割模型，该模型包括PSPNet网络中的PPM模块和DeepLab中的ASPP模块；

S400～将两个PPM模块和ASPP模块分割网络得到的结果输入判别模型中，输出类全局概率得分图；

S500～根据判别网络得到的结果，重新调整两个分割模型进行训练，并且重复S300和S400，直到两个分割网络的结果趋于一致，从而达到语义分割的效果。

2.根据权利要求1所述的基于对抗神经网络的语义分割方法，其特征在于：所述的步骤S100中，道路损伤图像数据集来自拍摄的道路现场图像，包括不同的环境、光照、路面以及形状。

3.根据权利要求2所述的基于对抗神经网络的语义分割方法，其特征在于：所述的步骤S200中，将原始网络Resnet-50的第一层卷积层由7×7的改为三层3×3的卷积层，将最后一个分类层去除，接着将最后一个残差模块的步长从2改成1，最后，将网络的扩张率改为2，得到等同于输入图像大小1/16的特征映射。

4.根据权利要求3所述的基于对抗神经网络的语义分割方法，其特征在于：所述的步骤S300中，PSPNet中的PPM模块使用1×1、2×2、、6×6代表不同的子区域分别进行池化，最后用这个模块上采样和级联；DeepLab中的ASPP模块，使用的rates=（1,6,12,18），并且扩张卷积运算由4个并行的卷积层组成；两个分割网络输入的图像大小为H×W×3，输出的是H×W×C₁和两个类概率分割图S₁和，C₁和C₂分别是两个分割网络输出的类别数，将这两个分割图进行对抗学习。

5.根据权利要求4所述的基于对抗神经网络的语义分割方法，其特征在于：所述的步骤S300中，训练具体过程中，整个对抗网络的总损失函数分为两部分，两个分割网络各自的损失函数与判别网络的损失函数，两个分割网络的损失函数表示为如下公式：

（1）

（2）

其中，L_seg-s1代表PPM模块分割网络生成标签的损失函数，L_seg-s2代表ASPP模块分割网络生成标签的损失函数，表示Deeplab为基础的分割网络与真实标签的交叉熵损失函数；用来表示对抗学习的损失函数，能够尽最大的可能欺骗判别器，让判别器把以PPM为基础的分割预测结果错误的认为是Deeplab网络的预测结果；则是PPM的损失函数，这个网络使用的则是以Deeplab网络为基础生成的弱标签，是可变的常数，用来调节训练过程，具体公式如下：

（3）

（4）

（5）

（6）

式中，H、w、c代表图像的长、宽、分割类别，s1、s2代表PPM模块、ASPP模块两个分割网络得到的类概率图，Xn代表预测标签，Yn代表真实标签。

6.根据权利要求5所述的基于对抗神经网络的语义分割方法，其特征在于：所述的步骤S400中，判别网络的损失函数表示为如下公式：

上式中为判别网络的学习率，=0代表样本是来自以PPM为基础的分割网络，=1表示样本是来自以ASPP为基础的分割网络。

7.根据权利要求6所述的基于对抗神经网络的语义分割方法，其特征在于：所述的步骤S400中，判别网络含有5个卷积层，其中卷积核的尺寸为，步长为2。

8.根据权利要求7所述的基于对抗神经网络的语义分割方法，其特征在于：所述的步骤S500中，生成网络中经过对抗后，用Deeplab网络的分割结果作为基础图像，把PSPNet网络的分割结果当做生成的图像，将得到的两个图像输入步骤S300中的判别网络中，并确定每个目标物体的类别，输出尺寸为H×W×1的类全局概率得分图；如果图中的像素来自于Deeplab网络的生成图像，则P=1，如果来自PSPNet网络的生成图片，则P=0，当P的值越接近0.5时，表示整体的对抗网络达到了最好的效果，其中P代表网络对抗的程度。