[发明专利]基于动态的面部表情动作单元信息的人脸修复方法

权利要求书

1.一种基于动态的面部表情动作单元信息的人脸修复方法，其特征是，构建人脸修复生成网络，由粗到细地修复有损人脸，其包括一个粗糙生成器与精细生成器，粗糙生成器是一个自编码器AE构成，精细生成器是一个条件自编码器CAE构成；构建图片判别器网络，用于区分修复生成的人脸图像与真实的人脸图像；构建面部表情动作单元信息AU检测器网络，用于对粗糙生成器生成修复的人脸检测到的AU信息，以条件形式添加到精细生成器中，从而约束精细生成器修复生成的人脸图像的面部表情动作；

训练时，具有遮挡区域的人脸图像作为整个网络的输入，输入到粗糙生成器中，粗糙生成器得到一个粗糙的修复结果，将这个结果作为精细生成器的输入，最终的修复结果分别输入到判别器和AU分类器中以此来约束精细生成器的生成效果；

测试时：具有遮挡区域的人脸图像输入到粗糙生成器中，得到一个粗糙的修复结果，之后将这个初步得到的结果分别输入到精细生成器和AU分类器中，利用AU分类器的分类结果作为精细生成器的约束，从而修复生成最终的人脸图像的面部表情动作，同时得到修复后图像的AU识别结果。

2.如权利要求1所述的基于动态的面部表情动作单元信息的人脸修复方法，其特征是，其中：

1)对于粗糙生成器，单独每部分loss如下：

其中，x_r是训练集中非复杂环境下的真实人脸，x_coar是粗糙生成器大致修复生成的人脸。

其中，D_img是图片判别器。

其中，是指图片判别器的输出的前一特征层。

其中D_au是指AU判别器以及C_au是指AU检测器，训练粗糙生成器的整体loss如下：

L_{g_c}＝L_{pixel_c}+λ₁₁L_{D_c}+λ₁₂L_{f_D_c}+λ₁₃L_{D_c_au}

2)对于精细生成器，单独每部分loss如下：

其中x_fine是精细生成器修复生成的人脸。

训练精细生成器的整体loss如下：

L_{g_f}＝L_{pixel_f}+λ₂₁L_{D_f}+λ₂₂L_{f_D_f}+λ₂₃L_{D_f_au}，

其中，λ₂₁，λ₂₂和λ₂₃是用来平衡各损失的超参数。

3.如权利要求1所述的基于动态的面部表情动作单元信息的人脸修复方法，其特征是，判别器的loss如下：

x_r是训练集中非复杂环境下的真实人脸。