[发明专利]一种基于条件生成对抗网络的人脸去遮挡方法

说明书

本发明公开了一种基于条件生成对抗网络的人脸去遮挡方法，包括如下步骤：准备人脸图像数据集和可能出现在面部的遮挡图像集，对每一张人脸图像随机加遮挡后，得到原始人脸图像、有遮挡人脸图像、遮挡图像组成的三元组数据集；将有遮挡人脸图像作为输入，遮挡图像作为目标图像，通过训练第一个条件生成对抗网络实现遮挡检测的功能；将有遮挡人脸图像和第一个条件生成对抗网络检测出的遮挡图像作为输入，原始人脸图像作为目标图像，通过训练第二个条件生成对抗网络实现人脸遮挡移除的功能。本发明在面部遮挡检测的基础上进行面部遮挡移除，不仅增强了对任意遮挡的识别能力，同时也借助学得的遮挡信息来更好地移除遮挡，使模型更具有鲁棒性。

技术领域

本发明属于计算机视觉领域，特别涉及一种应用机器学习实现的人脸去遮挡方法。

背景技术

人脸去遮挡是一个有意义的课题，不仅可以直接提高人脸识别的准确率，还可以在此基础上做一些扩展性的研究，更重要的是，它可能成为其他人脸研究工作的一部分来提高其他模型对有遮挡人脸的鲁棒性。例如，在人脸表情数据库上，若在去遮挡的基础上考虑到非遮挡部分的信息，可以得到完整的并且更真实的人脸表情，从而提高对有遮挡人脸图像的表情识别率等等。

当前对人脸去遮挡的研究很少，但它和人脸补全比较相似。人脸补全是图像补全的一个分支，目前已经存在不少对人脸补全的研究。人脸补全是补充人脸图像上缺失的像素点，而这些缺失的部分一般是无实际意义且单一纹理的，因此它目前不能做到人脸自动去遮挡的效果，除非手动在想要去掉的遮挡上添加类似纹理。而人脸去遮挡是学习人脸本身的特征及大量真实遮挡物的特征，从而达到自动去遮挡的功能，如给人脸图像去掉口罩、眼镜等真实遮挡物。因此，人脸去遮挡本身比人脸补全问题有更大的挑战性。

由于问题的复杂性，现有的人脸补全方法均是基于神经网络来实现的。

发明内容

现有技术的人脸补全方法往往一次性对人脸缺失部分进行补全，这样会需要很高的网络复杂度或者补全效果不佳，这样的训练方式如果照搬在人脸去遮挡问题上，会产生更明显的缺陷。为解决以上问题，本发明的目的是提出一种基于条件生成对抗网络的人脸去遮挡方法。

为实现上述目的，本发明采用的技术方案为：

一种基于条件生成对抗网络的人脸去遮挡方法，包括如下步骤：

步骤1，准备数据集：获取人脸图像数据集，并在互联网上以可能出现在人脸上的遮挡作为关键字收集透明背景的遮挡图片；在每一张人脸图像上添加经过随机变换的遮挡图片得到原始人脸图像、加遮挡后的人脸图像以及经过随机变换的遮挡图像，构成一个由原始人脸图像、加遮挡后的人脸图像以及经过随机变换的遮挡图像组成的三元组数据集；

步骤2，搭建第一个条件生成对抗网络模型GAN1，其输入为步骤1得到的三元组数据集中的加遮挡后的人脸图像，目标图像为三元组数据集中经过随机变换的遮挡图像，对网络训练后实现遮挡检测的功能；

步骤3：搭建第二个条件生成对抗网络模型GAN2，其输入为三元组数据集中的加遮挡后的人脸图像与其在第一个条件生成对抗网络的输出，目标图像为三元组数据集中的原始人脸图像，对网络进行训练后最终实现面部遮挡移除的功能。

所述步骤1中，对得到的三元组数据集中的图像进行随机剪切和随机左右翻转来缓解模型过拟合的情况。

所述步骤2中，GAN1的整体结构如下：

input→生成器1→occ_learned

其中，input为需要去遮挡的图像，occ_learned为学得的遮挡图像；生成器1的模型参数由与判别器1联合训练得到；

生成器1采用全卷积神经网络，采用8层全卷积层对输入进行编码，再采用8个转置全卷积层对得到的向量进行解码，编码器与解码器用U-Net结构进行连接；