[发明专利]基于动态的面部表情动作单元信息的人脸修复方法

说明书

本发明涉及人脸识别以及计算机视觉等领域，为提出新的人脸修复方法，为此，本发明采取的技术方案时，基于动态的面部表情动作单元信息的人脸修复方法，构建人脸修复生成网络，由粗到细地修复有损人脸，其包括一个粗糙生成器与精细生成器，粗糙生成器是一个自编码器AE构成，精细生成器是一个条件自编码器CAE构成；构建图片判别器网络，用于区分修复生成的人脸图像与真实的人脸图像；构建面部表情动作单元信息AU检测器网络，用于对粗糙生成器生成修复的人脸检测到的AU信息，以条件形式添加到精细生成器中，从而约束精细生成器修复生成的人脸图像的面部表情动作。本发明主要应用于人脸修复场合。

技术领域

本发明涉及人脸识别以及计算机视觉等领域，具体点是涉及基于动态的面部表情动作单元信息的人脸修复方法。

背景技术

近年来，由于生成对抗网络(GAN)的出现，基于深度学习的面部修复方法取得了一定的成果。大多数先前的人脸修复方法没有考虑到高级的面部表情结构信息，例如面部表情动作单元信息(AU)。

人脸面部图像修复旨在恢复遮挡住的人脸面部区域，这在野外环境下的人脸识别领域越来越受到关注，特别是随着卷积神经网络(CNN)和生成对抗网络(GAN)的出现。以前的人脸面部图像修复工作可分成两个分支：传统方法和基于深度学习的方法。传统方法通常通过搜索最近邻的方法来替换有损的人脸面部区域，也就是从数据集中寻找与有损区域极为相似的区域进行替代修复。基于深度学习的方法通常是端到端地直接用神经网络完成人脸图像的修复，它总是不能保留原来真实人脸图像的面部属性或表情动作。虽然基于深度学习的方法取得了巨大的成功，但生成的人脸图像往往具有失真和虚假的痕迹。一些相关的研究还使用到了低级的人脸面部结构信息来生成修复整个人脸面部，例如人脸标志点(facial landmarks)和人脸面部语义分割信息(face parsing)，但都难以保证修复后的人脸的面部结构信息不发生改变。

本文提出了一种方法，将高级的面部表情动作单元信息(AU)和GAN结合起来对有损的人脸图像进行修复生成，同时保证修复后人脸表情结构信息与真实的人脸图片相一致，并且保证身份信息也一致。

发明内容

为克服现有技术的不足，本发明旨在提出新的人脸修复方法，为此，本发明采取的技术方案时，基于动态的面部表情动作单元信息的人脸修复方法，构建人脸修复生成网络，由粗到细地修复有损人脸，其包括一个粗糙生成器与精细生成器，粗糙生成器是一个自编码器AE构成，精细生成器是一个条件自编码器CAE构成；构建图片判别器网络，用于区分修复生成的人脸图像与真实的人脸图像；构建面部表情动作单元信息AU检测器网络，用于对粗糙生成器生成修复的人脸检测到的AU信息，以条件形式添加到精细生成器中，从而约束精细生成器修复生成的人脸图像的面部表情动作；

训练时，具有遮挡区域的人脸图像作为整个网络的输入，输入到粗糙生成器中，粗糙生成器得到一个粗糙的修复结果，将这个结果作为精细生成器的输入，最终的修复结果分别输入到判别器和AU分类器中以此来约束精细生成器的生成效果；

测试时：具有遮挡区域的人脸图像输入到粗糙生成器中，得到一个粗糙的修复结果，之后将这个初步得到的结果分别输入到精细生成器和AU分类器中，利用AU分类器的分类结果作为精细生成器的约束，从而修复生成最终的人脸图像的面部表情动作，同时得到修复后图像的AU识别结果。

1)对于粗糙生成器，单独每部分loss如下：

其中，x_r是训练集中非复杂环境下的真实人脸，x_coar是粗糙生成器大致修复生成的人脸。

其中，D_img是图片判别器。

其中，是指图片判别器的输出的前一特征层。