[发明专利]一种基于关键点修复图像的人脸去口罩方法

权利要求书

1.一种基于关键点修复图像的人脸去口罩方法，其特征在于，包括如下步骤：

步骤1，构建图像生成模型：

(1)收集大规模人脸高清数据集以及若干戴口罩人脸图像；

(2)使用所述若干戴口罩人脸图像训练图像分割网络得到口罩分割模型；

(3)将所述大规模人脸高清数据集通过针对无遮挡情况的第一人脸关键点检测模型，提取第一人脸关键点；

(4)使用所述若干戴口罩人脸图像训练第一对抗生成网络GAN得到针对戴口罩情况的第二人脸关键点检测模型；

(5)将所述若干戴口罩人脸图像通过第二人脸关键点检测模型，提取第二人脸关键点；

(6)将大规模人脸高清数据集和第一人脸关键点作为训练集，将若干戴口罩人脸图像和第二人脸关键点作为测试集，利用训练集和测试集训练第二对抗生成网络GAN，得到图像生成模型；

步骤2，利用所述图像生成模型进行人脸去口罩：

(1)将待处理的口罩遮挡图像经过人脸检测卷积神经网络提取为戴口罩人脸图像；

(2)将所述戴口罩人脸图像通过所述口罩分割模型得到口罩分割图像；

(3)将所述大规模人脸高清数据集与口罩分割图像叠加，得到口罩部分缺失了的不完整人脸图像；

(4)将所述口罩部分缺失了的不完整人脸图像以及第一人脸关键点输入图像生成模型，得到去口罩人脸图像。

2.根据权利要求1所述的基于关键点修复图像的人脸去口罩方法，其特征在于，步骤1中使用所述若干戴口罩人脸图像训练图像分割网络得到口罩分割模型的方法为：采用标注工具标注出若干戴口罩人脸图像中口罩部分；将标注出口罩部分的若干戴口罩人脸图像输入图像分割网络进行训练，得到口罩分割模型。

3.根据权利要求2所述的基于关键点修复图像的人脸去口罩方法，其特征在于，所述图像分割网络为segnet、u-net和fcn中的任意一种。

4.根据权利要求1所述的基于关键点修复图像的人脸去口罩方法，其特征在于，步骤1中使用所述若干戴口罩人脸图像训练第一对抗生成网络GAN得到针对戴口罩情况的第二人脸关键点检测模型的方法为：采用标注工具标注出若干戴口罩人脸图像中的人脸关键点，将标注出人脸关键点的若干戴口罩人脸图像输入第一对抗生成网络GAN进行训练得到针对戴口罩情况的第二人脸关键点检测模型。

5.根据权利要求4所述的基于关键点修复图像的人脸去口罩方法，其特征在于，所述第一人脸关键点检测模型为dlib或face_aligment。

6.根据权利要求1所述的基于关键点修复图像的人脸去口罩方法，其特征在于，所述人脸检测卷积神经网络为MTCNN或FaceNet。

7.根据权利要求1所述的基于关键点修复图像的人脸去口罩方法，其特征在于，所述大规模人脸高清数据集为celeb-hq人脸高清数据集。

8.根据权利要求1所述的基于关键点修复图像的人脸去口罩方法，其特征在于，所述人脸去口罩方法中涉及的图像均需要处理为统一尺寸。

9.根据权利要求8所述的基于关键点修复图像的人脸去口罩方法，其特征在于，所述人脸去口罩方法中涉及的图像的统一尺寸为256×256像素。

10.根据权利要求1所述的基于关键点修复图像的人脸去口罩方法，其特征在于，所述第一人脸关键点按文件名称保存为txt文件。