[发明专利]一种基于条件生成对抗网络的人脸去遮挡方法

权利要求书

1.一种基于条件生成对抗网络的人脸去遮挡方法，其特征在于，包括如下步骤：

步骤1，准备数据集：获取人脸图像数据集，并在互联网上以可能出现在人脸上的遮挡作为关键字收集透明背景的遮挡图片；在每一张人脸图像上添加经过随机变换的遮挡图片得到原始人脸图像、加遮挡后的人脸图像以及经过随机变换的遮挡图像，构成一个由原始人脸图像、加遮挡后的人脸图像以及经过随机变换的遮挡图像组成的三元组数据集；

步骤2，搭建第一个条件生成对抗网络模型GAN1，其输入为步骤1得到的三元组数据集中的加遮挡后的人脸图像，目标图像为三元组数据集中经过随机变换的遮挡图像，对网络训练后实现遮挡检测的功能；

GAN1的整体结构如下：

input→生成器1→occ_learned

其中，input为需要去遮挡的图像，occ_learned为学得的遮挡图像；生成器1的模型参数由与判别器1联合训练得到；

生成器1采用全卷积神经网络，采用8层全卷积层对输入进行编码，再采用8个转置全卷积层对得到的向量进行解码，编码器与解码器用U-Net结构进行连接；

判别器1采用4层全卷积神经网络，输出为尺寸为30*30*1的矩阵，用于判断输入图像的真实性；

训练GAN1的目标函数如下：

最终目标为：

其中,p_data表示数据的分布，代表数学期望；input表示加遮挡后的人脸图像，occ表示对应的遮挡图像；O₁代表和D₁输出相同维数的全一阵，log代表对矩阵中每个元素求对数后的总和；G₁,D₁分别表示生成器1，判别器1；表示第一个条件生成对抗网络的基础损失函数，使得网络能以对抗的形式被训练；表示生成器1额外的损失函数，使得生成器1生成的图片能尽可能与目标函数在像素级别上相似，其中L₁代表该损失函数中的1范数；

步骤3：搭建第二个条件生成对抗网络模型GAN2，其输入为三元组数据集中的加遮挡后的人脸图像与其在第一个条件生成对抗网络的输出，目标图像为三元组数据集中的原始人脸图像，对网络进行训练后最终实现面部遮挡移除的功能；

GAN2的整体结构如下：

input+occ_learned→生成器2→target_learned

其中，input为需要去遮挡的图像，occ_learned为学得的遮挡图像，target_learned为学得的去遮挡后的人脸图像；

生成器2的模型参数由与判别器2联合训练得到；

生成器2采用全卷积神经网络，采用8层全卷积层对输入进行编码，再采用8个转置全卷积层对得到的向量进行解码，编码器与解码器用U-Net结构进行连接；

判别器2采用4层全卷积神经网络，输出为尺寸为30*30*1的矩阵，用于判断输入图像的真实性；

训练GAN2的目标函数如下：

最终目标为：

其中,p_data表示数据的分布，代表数学期望；input表示加遮挡后的人脸图像，occ表示对应的遮挡图像，target表示对应的未遮挡人脸图像；O₂代表和D₂输出相同维数的全一阵，log代表对矩阵中每个元素求对数后的总和；G₂,D₂分别表示生成器2，判别器2；表示第二个条件生成对抗网络的基础损失函数，使得网络能以对抗的形式被训练；表示生成器2额外的损失函数，使得生成器2生成的图片能尽可能与目标函数在像素级别上相似，其中L₁代表该损失函数中的1范数。

2.根据权利要求1所述的基于条件生成对抗网络的人脸去遮挡方法，其特征在于：所述步骤1中，对得到的三元组数据集中的图像进行随机剪切和随机左右翻转来缓解模型过拟合的情况。