[发明专利]一种利用生成对抗网络辅助语义分割模型

权利要求书

1.一种利用生成对抗网络辅助语义分割模型的构建方法，其特征在于，构建的利用生成对抗网络辅助语义分割模型包括语义分割生成模型、对抗模型,语义分割生成模型、对抗模型分别配置有一个损失函数；

其中，

语义分割生成模型：

语义分割生成模型基于VGG/ResNet50设计，用于：通过使用VGG或ResNet50作为特征提取器，并将最后数层全连接层转换为卷积层，使得原有的分类网络转变为全卷积网络；通过语义分割生成模型最终层输出的特征图，进行反卷积或双线性插值方式放大，获得当前输入图片对应的分割图片；

对抗模型：

对抗模型的输入为原图、真实分割图以及生成分割图，对抗模型由图片特征提取器、分割特征提取器以及特征融合器组成；图片特征提取器用于使用VGG/ResNet50的浅层部分提取原始图片的图片特征，分割特征提取器用于提取真实分割图的分割特征，特征融合器用于对图片特征和分割特征进行特征融合；分割特征提取器提取的分割特征包括进行放缩变化后的及

其中，ε表示设定的固定值，l表示真实分割图中特征向量中值为1的向量维对应的位置，c表示真实分割图中除位置l外的其他位置，i表示真实分割图中位置为l的像素的编号，表示像素i真实分割图中位置l处进行放缩后的特征向量，表示像素i真实分割图中除位置l外的其他位置处进行放缩后的特征向量，u_i^l表示像素i生成分割图中位置l处的特征向量，表示像素i生成分割图中除位置l外的其他位置处的特征向量；

损失函数：

两个损失函数分别记为生成损失函数、对抗损失函数，生成损失函数用于对语义分割生成模型的训练，对抗损失函数用于对对抗模型的训练；生成损失函数与对抗损失函数合成整个利用生成对抗网络辅助语义分割模型的损失函数，合成后的损失函数记为总模型损失函数；总模型损失函数在原有的交叉熵分类损失函数的基础上增加对抗损失项，对抗损失项通过二值交叉熵函数进行定义，当语义分割生成模型输出的生成分割图越接近真实分割图，则对抗损失项中语义分割生成模型的计算损失会降低，而对抗模型的计算损失会升高。

2.根据权利要求1所述的一种利用生成对抗网络辅助语义分割模型的构建方法，其特征在于：全连接层的权重通过变形转换为对应全卷积层的卷积核参数。

3.根据权利要求1所述的一种利用生成对抗网络辅助语义分割模型的构建方法，其特征在于：第一层反卷积所接收的特征图相较于原图缩放了32倍，通过反卷积放大后与第3个block输出的特征图进行合并并融合成新的特征图，以此类推，对与第2个block输出的特征图融合后得到的新特征图进行8倍的插值放大操作，以获得更为精细的分割效果。

4.根据权利要求3所述的一种利用生成对抗网络辅助语义分割模型的构建方法，其特征在于：ResNet50在不增加网络参数量的前提下，将第3和第4两个block中的标准卷积层替换为空洞卷积层，以此增加特征图的感受野范围。

5.根据权利要求4所述的一种利用生成对抗网络辅助语义分割模型的构建方法，其特征在于：空洞卷积核在核中通过插入0的方式来扩大卷积核的尺寸。

6.根据权利要求1至5任一项所述的一种利用生成对抗网络辅助语义分割模型的构建方法，其特征在于：在原有的ASPP模块中引入全局平均池化层，对一张特征图上所有的像素点取平均值，使原特征图实质上会成为特征向量，再通过卷积层进行特征重组后重新放大,并与其他特征图进行合并，通过平均整张特征图，过滤了大量细节信息，而只抽取特征图的总体信息，并且由于滑动窗口覆盖了整张特征图，将下一层卷积的感受野扩大至全图。