[发明专利]一种基于几何感知先验引导的遮挡人脸修复方法

权利要求书

1.一种基于几何感知先验引导的遮挡人脸修复方法，其特征在于：包括如下步骤：

步骤S1、建立人脸语义解析模块，人脸语义解析模块由BiseNet网络构成，BiseNet网络包括空间分支、上下文分支和特征融合模块；

步骤S2、将遮挡人脸图像输入到人脸语义解析模块中以获取人脸语义解析图；

步骤S3、将人脸语义解析图、遮挡人脸图像和随机遮挡Mask拼接成5通道的图片，作为步骤S4中生成器的输入，为遮挡人脸修复提供人脸几何先验知识；

步骤S4、构造生成器，生成器包括编码器和解码器，编码器根据遮挡人脸图像、随机遮挡Mask与人脸语义解析图生成目标人脸图像的人脸特征向量，根据人脸特征向量提取目标人脸图像中受遮挡区域对应的遮挡特征向量，解码器根据遮挡特征向量，生成遮挡部分图像，得到最终修复图像；

步骤S5、修复的图像输入到全局判别器和局部判别器，其中局部判别器包括左眼局部判别器、右眼局部判别器和嘴局部判别器，引入具有左眼、右眼、嘴局部判别器的面部组件损失，并且基于判别器学习到的特征进行进一步的风格监督；

步骤S6、用设计好的方法在公开数据集上进行实验并测试Peak Signal-to-NoiseRatio、Structural Similarity Index和Fréchet Inception Distance三个指标。

2.根据权利要求1所述的一种基于几何感知先验引导的遮挡人脸修复方法，其特征在于：所述步骤S4的具体步骤为：

步骤S41、在编码器中，首先经过一个7*7的卷积，扩大感受野，再经过两个步长为2的4*4卷积进行特征提取，提取的特征记为x₁；

步骤S42、使用上下文聚合变换模块增强上下文特征推理和遮挡区域的纹理合成，将输入特征x₁分别输入到四个不同空洞率的空洞卷积，使用大的空洞率关注图片的全局特征，小的空洞率关注图片的局部特征，最后通过一个3*3卷积将四个输出特征进行特征融合得到特征x₂；

步骤S43、使用门控残差连接单元将输入特征x₁与输出特征x₂聚合，得到最终的编码器特征x₃,其中门控残差连接单元包含一个标准卷积和sigmoid激活函数，该门控残差连接单元减小了遮挡区域内外颜色差异；

步骤S44、连续使用两次倍率为2的关注特征重要性的上采样对特征x₃进行解码，得到在空间维度上与输入图像高度和宽度一样大的修复人脸图像。

3.根据权利要求2所述的一种基于几何感知先验引导的遮挡人脸修复方法，其特征在于：所述步骤S43中门控残差连接单元首先通过3*3的标准卷积和sigmoid激活函数，计算空间变异门控值g，然后上下文聚合变换模块通过加权的方式将输入特征x₁和学习到的残差特征x₂聚合起来得到最终的编码特征x₃，特征x₃定义如下：

x₃＝x₁×g+x₂×(1-g)。