[发明专利]一种自适应对抗学习的城市交通场景语义分割方法及系统

权利要求书

1.一种自适应对抗学习的城市交通场景语义分割方法，其特征在于，所述方法包括：

获取语义分割模型的训练数据集，对原始的游戏合成数据集GTA5进行预处理，得到新的与城市场景真实数据集CityScapes分布接近的合成数据集SG-GTA5，作为源数据集，CityScapes训练数据集中不使用标注信息的图片作为目标数据集，源数据集和目标数据集组成语义分割模型的训练数据集；

构建弱监督的语义分割模型，即生成对抗网络模型，所述生成对抗网络包括生成器网络和判别器网络；

将所述源数据集和目标数据集作为训练数据，对所述生成对抗网络进行自适应学习率的对抗训练，得到优化的生成器网络模型；

将城市场景数据集Cityscapes中的测试图像输入至所述优化的生成器网络模型中，得到分割结果；

对所述分割结果进行定量和定性评估，得到分割性能结果；

所述构建弱监督的语义分割模型，具体包括：

构建生成器网络：

采用DeepLab v2作为网络基本框架；在最后一层采用多孔空间金字塔池化结构代替标准卷积作为最终的分类器；再将第四层和第五层卷积层的步长由2改成1；同时将第四层和第五层空洞卷积层的空洞数分别设置成2和4；最后，使用一个上采样层得到与输入图像大小相同的特征图；

构建判别器网络：

采用与传统卷积神经网络CNN类似的网络结构，使用全卷积层代替全连接层，网络由6个卷积层组成，前四个卷积层的卷积核大小设为4×4，步长设为2，第五个卷积层的卷积核大小设为4×4，步长设为1，它们的通道数分别为(64,128,256,512,1024,1)，除最后一层外，每个卷积层均后面均连接一个非线性激活函数Leaky ReLU。

2.根据权利要求1所述的自适应对抗学习的城市交通场景语义分割方法，其特征在于，所述获取语义分割模型的训练数据集，具体包括：

以CityScapes训练数据集中不使用标注信息的图片和带标注的游戏合成数据集GTA5作为输入，采用语义感知生成对抗网络算法对两个输入数据集进行对抗训练，得到一个训练完成的网络模型，将原始合成数据集GTA5输入到该训练完成的网络模型中，得到新的合成数据集SG-GTA5，并将其作为语义分割模型的源数据集，CityScapes训练数据集中不使用标注信息的图片作为目标数据集，源数据集和目标数据集组成了语义分割的训练数据集。

3.根据权利要求1所述的自适应对抗学习的城市交通场景语义分割方法，其特征在于，所述将所述新的源数据集SG-GTA5和目标数据集作为训练数据，对所述生成对抗网络进行自适应学习率的对抗训练，得到优化的生成器网络模型，具体包括：

将带标注的源数据集中的图像和未带标注的目标数据集中的图像作为所述生成器网络的输入，通过所述生成器网络分别得到其对应的特征图；

将所述得到的特征图作为所述判别器的输入，采用自适应学习率调整各层特征的对抗性学习方法，通过反向传播的方式，对判别器网络和生成器网络中的参数进行不断的更新优化；

更新优化过程具体如下：

固定生成器网络参数，对所述判别器网络采用自适应的学习率进行训练，得到训练后的判别器网络模型；

固定所述训练后的判别器网络模型的参数，对所述生成器网络进行反向传播训练，得到优化的生成器网络模型，如此循环迭代，最后得到最优的生成对抗网络模型。