[发明专利]一种基于对抗生成网络GAN的语义分割训练数据增广方法和系统

说明书

本发明公开的基于对抗生成网络GAN的语义分割训练数据增广方法和系统，基于无监督学习，在标注图中提供目标物体的像素级别真值，通过类内均值计算，得到前景与背景对应的均值，该均值约束标注图反向学习得到输入图，训练出GAN中生成器网络的相关参数。给定一张任意合成标注图，提供任意类内均值，加入随机噪声，通过已经学成的生成网络便可以得到一张模拟的目标图像，通过这种方法可以产生更多的合成目标图，可以用这些合成目标图作为输入，增加了大量的训练集数据，从而提高深度卷积语义分割网络训练的效率和准确性。

技术领域

本发明涉及机器学习领域，尤其涉及一种基于对抗生成网络GAN的语义分割训练数据增广方法和系统。

背景技术

计算机视觉领域近些年发生了巨大的变化，深度神经网络(Deep NeuralNetwork,DNN)在ImageNet的分类任务上取得了巨大成功。正常来说，DNN能实现的任务是输入一个图，输出一个判断，例如是你想要的结果或者不是。而对抗生成网络GAN是为了能反向使用这个网络，即通过输入一个物品名字来输出这个物品。GAN是基于一个博弈式的训练过程，网络中有生成器G(generator) 和鉴别器D(Discriminator)，有两个数据域分别为X，Y。生成器G负责把X 域中的数据拿过来努力地模仿成Y’，并把它们藏在Y中。而鉴别器D就努力地要把伪造数据和真实数据分开如此反复直至生成模型与判别模型无法提高自己，此时生成模型就会成为一个完美的模型。

在机器学习中，我们需要大量数据来训练深度学习模型避免过拟合。深度神经网络具有非常多的参数，因此如果没有用足够的数据去训练它们，它们往往会记住整个训练集，这就会导致训练的效果很好，测试集上的效果很差。而传统的用来扩展训练数据的数据增广方法仍然是对图像本身进行变换，而非生成新的数据，因此很多时候我们仍然无法获取大量的训练数据，

发明内容

本发明针对现有技术中的不足，提供了一种基于对抗生成网络GAN的语义分割训练数据增广方法，包括如下步骤：

步骤S1，将输入的原始图片与对应的正确标注图进行匹配学习，通过优化来实现识别与F(s)，其中为输入的原始图像即训练目标的输入目标图，为正确标注图，F(s)为生成的标注图，为识别器；

步骤S2，生成器G网络提取正确标注图目标区域，在输入目标图中的同一区域进行像素平均值计算来约束反向学习过程，在由正确标注图学习生成输入目标图的过程中持续优化G网络参数，通过优化来实现识别正确标注图与生成的原始输入图，其中为输入的原始图像，为正确标注图，G(t)为生成的原始输入图，为识别器用来识别与G(t)，p_data表示给定数据的概率分布；

步骤S3，通过任意更改输入至完成训练的G网络中的正确标注图、类内均值和噪声中的一个或多个，生成不同合成目标图。

优选的，所述步骤S2还包括：通过优化一个循环损失来进行约束，其中p_data表示给定数据的概率分布，通过训练G网络模型和F网络模型使F(G(t))≈t和G(F(s))≈s，即生成的标注图接近于正确标注图，生成的原始输入图接近于输入目标图。

本发明还公开了一种基于对抗生成网络GAN的语义分割训练数据增广系统，包括：第一训练模块，用于将输入的原始图片与对应的正确标注图进行匹配学习，通过优化来实现识别与F(s)，其中为输入的原始图像即训练目标的输入目标图，为正确标注图，F(s)为生成的标注图，为识别器；第二训练模块，用于生成器G网络提取正确标注图目标区域，在输入目标图中的同一区域进行像素平均值计算来约束反向学习过程，在由正确标注图学习生成输入目标图的过程中持续优化G网络参数，通过优化来实现识别正确标注图与生成的原始输入图，其中为输入的原始图像，为正确标注图，G(t)为生成的原始输入图，为识别器用来识别与G(t)， p_data表示给定数据的概率分布；合成目标图生成模块，用于通过任意更改输入至完成训练的G网络中的正确标注图、类内均值和噪声中的一个或多个，生成不同合成目标图。