[发明专利]基于对抗生成神经网络的图像修复方法和系统

权利要求书

1.一种基于对抗生成神经网络的图像修复方法，其特征在于，包括以下步骤：

步骤1，设计一个自编码器卷积神经网络，包括用于对输入图像进行深度神经网络编码的编码器，以及用于对编码结果进行判别的编码判别器，编码器和编码判别器构成了一个局部的对抗生成神经网络；

步骤2，设计一个解码器卷积神经网络，用于对自编码器编码后的编码进行解码；

步骤3，设计一个判别器卷积神经网络，包括一个对生成图像的整体质量进行全局判别的全局判别器，以及一个对生成图像部分内容质量进行局部判别的局部判别器，并通过全连接结构将两个判别器输出结果进行融合作为最终的结果；

步骤4，对编码器、解码器、全局判别器和局部判别器，以及针对于图像修复任务额外的编码判别器这五个网络构造不同损失函数，并利用分步训练的方法对整个网络进行图像修复训练；

步骤4中构建的五个网络的损失函数如下，

首先定义U、V分别为总长度为n、m的矩阵，均方误差表示为：

根据对抗神经网络的基本理论，对抗生成神经网络中判别器的损失函数表示为：

对抗生成神经网络中生成器的损失函数表示为：

对于编码器来说其损失函数，主要包括自编码器结构的重建损失，编码损失以及编码器与编码器判别器构成的对抗生成神经网络的损失：

L_encoder＝MSE(z，z′)+MSE(X，Y)+G(X′)

其中，X表示真实图像，X′表示输入的带有缺失的待修复图像；z表示X通过编码器编码后的结果，z′表示编码器对X′编码后的结果，Y表示输出后的修复图像；

相对应的编码判别器的损失函数只包括对抗生成神经网络的判别器损失函数：

L_{code-discriminator}＝D(X′)

对于解码器来说，其包含自编码器的重建损失以及对抗生成神经网络的生成器损失：

L_generator＝MSE(X，Y)+G(z′)

对于全局判别器和局部判别器来说其损失函数是对应输入图像的损失函数，定义x为真实图像X中对应缺失位置的部分，y为修复图像Y中对应缺失位置的部分：

L_{global-discriminator}＝D(X)+D(Y)

L_{local-discriminator}＝D(x)+D(y)

步骤5，当网络训练完成以后，把缺损图像放入网络中进行修复，解码器生成的结果图就为最终修复结果图。

2.根据权利要求书1所述的一种基于对抗生成神经网络的图像修复方法，其特征在于：步骤1中所述编码器的网络结构包括依次连接的6个卷积层和5个扩展卷积层；编码判别器的网络结构包括依次连接的3个卷积层和1个全连接层。

3.根据权利要求书1所述的一种基于对抗生成神经网络的图像修复方法，其特征在于：步骤2中所述解码器的网络结构包括依次连接的2个卷积层、1个反卷积层、1个卷积层，1个反卷积层和2个卷积层。

4.根据权利要求书1所述的一种基于对抗生成神经网络的图像修复方法，其特征在于：步骤3中所述全局判别器的网络结构包括依次连接的6个卷积层和1个全连接层；所述局部判别器的网络结构包括6个卷积层和1个全连接层；全连接结构包括拼接层和全连接层。

5.根据权利要求书1所述的一种基于对抗生成神经网络的图像修复方法，其特征在于：步骤4中利用分步训练的方法对整个网络进行图像修复训练的实现方式如下，

1)以训练自编码器的方法，仅训练编码器与解码器；

2)固定编码器与解码器，训练判别器，包括编码判别器、局部判别器和全局判别器，训练的迭代次数是固定的，以使判别器的训练程度与解码器和编码器接近；

3)使用对抗生成神经网络的训练方法交替训练编码器、解码器和判别器。