[发明专利]一种风格多样的口罩人脸图像生成系统及方法

说明书

本发明涉及一种风格多样的口罩人脸图像生成系统及方法，包括面部特征检测、口罩二元分割和口罩样式编码模块，逐步优化生成的口罩人脸图像。其中，面部特征检测模块主要用于保证生成口罩人脸图像的正确性；口罩二元分割模块主要用于保留输入图像中无遮挡区域的面部特征；口罩样式编码模块主要用于从输入的口罩人脸中提取口罩样式编码，并进一步指导模型根据样式编码生成风格多样的口罩。本发明可以解决采用目前人脸识别图像生成系统中的人脸图像遮挡位置随机且遮挡面积与口罩面积不符、不能较好的保留面部轮廓、不适合戴口罩进行人脸识别以及应用场景狭窄等问题。

技术领域

本发明属于图像识别技术领域，特别是人脸口罩图像生成领域，具体涉及一种风格多样的口罩人脸图像生成系统及方法，尤其涉及一种正确、真实、类型多样的口罩人脸图像生成系统及方法。

背景技术

卷积神经网络的发展史，不仅是图像处理飞速提高的历史，也是人脸识别技术不断改善的历史。人脸识别是人类身份识别最可靠的方式，在靠近摄像机时，采集含有人脸的图像或视频流，基于人的脸部特征信息进行身份识别。口罩人脸识别技术作为一种新颖的识别手段。与传统的人脸识别模型相比，口罩人脸识别具有明显的优势：便捷性、安全性和适用性，有效地提高了疫情下的人脸识别效率。尤其对于学校、医院及商场这类人流量大的场所，传统的人脸识别存在很大的安全隐患，而口罩人脸识别技术作为一种直接的识别方式，能保证高效的疫情防控。

目前公开的两种局部人脸识别方案OFR和PFR，可以实现人脸遮挡图像生成等功能，是口罩人脸识别中十分有益的尝试。但是，该方法生成的人脸图像遮挡位置随机且遮挡面积与口罩面积不符，不能较好的保留面部轮廓，应用场景狭窄。现有的口罩人脸合成和生成方法，例如CycleGAN、SaGAN等，可以初步实现口罩人脸图像生成的功能。但是，该方法生成的图像不正确，不真实，口罩类型不丰富，功能并不完善。要实现功能完善、应用广泛的口罩人脸识别，还需要进行进一步的研究和实验。

发明内容

有鉴于此，本发明为了解决采用目前人脸识别方案生成的人脸图像遮挡位置随机且遮挡面积与口罩面积不符，不能较好的保留面部轮廓，不适合戴口罩进行人脸识别，应用场景狭窄的问题，提供一种风格多样的口罩人脸图像生成系统及方法；通过设计融合面部特征检测、口罩二值分割和口罩样式编码三个模块的递进式训练机制，实现生成口罩人脸图像的正确性、真实性以及口罩样式的丰富性，以显著提升口罩人脸识别的性能。

为达到上述目的，本发明提供如下技术方案：

一种风格多样的口罩人脸图像生成系统，包括：

面部特征检测模块：用于保证生成口罩人脸图像的正确性；

口罩二元分割模块：用于保留输入图像中无遮挡区域的面部特征；

口罩样式编码模块：用于从输入的口罩人脸中提取口罩样式编码，并进一步指导模型根据样式编码生成不同样式的口罩。

进一步，面部特征检测模块使用预训练的Yolov3算法来检测生成的口罩人脸图像。 Yolov3的参数是固定的，在随后的优化阶段不会传播梯度；基于CycleGAN的自适应校正因子λcor，用来计算由Yolov3算法得到的脸部检测结果，以修改鉴别器的对抗性损失。

进一步，对鉴别器GAN对抗损失进行加权，得到修正对抗损失；基于对抗博弈机制，使生成器在正确位置生成正确口罩；通过高斯拉普拉斯算子处理生成口罩的锐度失真问题。

进一步，在进行高斯拉普拉斯操作前使用高斯平滑滤波器滤除图像噪声信息，平滑图像，以降低拉普拉斯操作对于噪声的敏感性。

进一步，口罩二元分割模块使用预先训练好的U-Net，来分割输入人脸和生成的口罩人脸上的口罩区域；U-Net的参数固定，在后续阶段的优化过程中不会传播梯度；通过计算生成前后无遮挡区域的相似性差异，构造局部不变性损失函数，解决人脸特征损失问题。