[发明专利]一种风格多样的口罩人脸图像生成系统及方法

权利要求书

1.一种风格多样的口罩人脸图像生成系统，其特征在于：包括：

面部特征检测模块：用于保证生成口罩人脸图像的正确性；

口罩二元分割模块：用于保留输入图像中无遮挡区域的面部特征；

口罩样式编码模块：用于从输入的口罩人脸中提取口罩样式编码，指导模型根据样式编码生成不同样式的口罩。

2.根据权利要求1所述的口罩人脸图像生成系统，其特征在于：所述面部特征检测模块使用预训练的Yolov3算法来检测生成的口罩人脸图像；基于CycleGAN的自适应校正因子用于反映不同的生成图像中错误口罩行为的惩罚量，自适应校正因子用来计算由Yolov3算法得到的脸部检测结果；，以修改鉴别器的对抗性损失。

3.根据权利要求2所述的口罩人脸图像生成系统，其特征在于：对鉴别器GAN对抗损失进行加权，得到修正对抗损失；基于对抗博弈机制，使生成器在正确位置生成正确口罩；通过高斯拉普拉斯算子处理生成口罩的锐度失真问题。

4.根据权利要求3所述的口罩人脸图像生成系统，其特征在于：在进行高斯拉普拉斯操作前使用高斯平滑滤波器滤除图像噪声信息，平滑图像，以降低拉普拉斯操作对于噪声的敏感性。

5.根据权利要求1所述的口罩人脸图像生成系统，其特征在于：所述口罩二元分割模块使用预先训练好的U-Net，来分割输入人脸和生成的口罩人脸上的口罩区域；通过局部不变性损失函数解决人脸特征损失问题；通过基于AdalN的L-AdalN对图像的口罩区域迁移图像统计约束，在图像空间中进行风格迁移。

6.根据权利要求5所述的口罩人脸图像生成系统，其特征在于：U-Net分割之后的图像用于计算局部不变性损失，解决人脸特征损失问题；基于空间控制的L-AdaIN能够在保持图像结构的同时，将参考风格的样式信息平滑地迁移到输出图像中，通过对图像的口罩区域迁移图像统计约束，在图像空间中进行风格迁移。

7.根据权利要求1所述的口罩人脸图像生成系统，其特征在于：所述口罩样式编码模块中生成器用于将一个人脸图像转换成一个佩戴口罩的人脸图像；一个具有K个输出分支的CNN用于在训练相应的口罩域时提供选择，其中K是口罩风格的数量；两个ResStage剩余块用于所有口罩域共享，且每个域都有一个特定的全连接层，这样使得编码器更适配；损失函数沿用了StarGANv2提出的风格重构损失函数和多样性敏感损失函数。

8.根据权利要求7所述的口罩人脸图像生成系统，其特征在于：所述生成器反映了由口罩样式编码模块提供的特定于域的样式编码；两个ResStage残差块使编码器更适合任务；风格重构损失函数用于强制生成器在生成口罩人脸时，使用由口罩样式编码模块提供的样式编码；多样性敏感损失函数迫使生成器探索图像空间并且从输入的口罩人脸数据集发现有意义的风格特征，生成不同的口罩人脸图像。

9.一种风格多样的口罩人脸图像生成方法，其特征在于：包括：

S1：对生成的口罩人脸图像进行面部特征检测，增强对生成口罩是否正确的鉴别区分能力，迫使其生成位置正确的同时避免图像锐度过低而出现失真；

S2：对输入人脸和生成的口罩人脸上的口罩区域进行切割，并据此进行局部不变性损失的计算；控制输入图像的风格程度，在图像空间中进行风格迁移，使图像结构不改变且参考风格的特征信息平滑迁移到输出图像中；

S3：从输入的口罩人脸图像中提取出口罩样式编码，根据样式编码进而生成不同口罩类型、颜色、佩戴姿势的佩戴口罩的人脸图像。