[发明专利]一种基于自监督学习与生成对抗机制的人脸表情迁移方法

说明书

本发明提供一种基于自监督学习与生成对抗机制的人脸表情迁移方法，包括：人脸身份与姿态自监督解耦网络设计步骤、生成对抗网络条件生成网络设计步骤、模型训练步骤以及整体框架预测步骤；人脸身份与姿态自监督解耦训练步骤使用一个多帧的形变自编码器来融合来自同一个视频序列的不同帧的人脸信息，并估计出能够代表身份的人脸图像，该图像通常趋向于正面人脸，与姿态无关且保持身份信息；将自监督学习与生成对抗机制应用到人脸表情与姿态迁移任务中，通过自监督方法解耦视频帧序列中的人脸身份与姿态信息，而无需使用有标注的数据集；同时使用生成对抗网络融合来自不同个体的身份与姿态信息并合成高质量人脸，实现人脸表情与姿态在个体间的迁移。

技术领域

本发明涉及深度学习应用技术领域，具体涉及一种基于自监督学习与生成对抗机制的人脸表情迁移方法。

背景技术

随着深度学习与图像处理领域技术的快速发展，人脸表情合成与迁移应用于诸多领域，例如电影制作、游戏制作、虚拟现实、人脸识别等。目前，人脸表情迁移方法主要采用经典的基于模型的参数化建模方法，或者是端到端的数据驱动的生成方法。

现有技术中，前者局限于预先定义的模型及其参数，难以完全表示头部姿态与面部表情；后者一般需要大量而且精细的人脸关键点标注，时间与人工成本昂贵。对于人脸表情迁移领域，其最关键的问题是如何从二维的图像中提取并解耦出人脸的身份与姿态信息，同时将来自不同个体的信息进行融合并再生成高质量的人脸图像。针对这种问题，目前亟待针对这一问题，设计相应而且合理的深度学习网络框架与训练方式，并充分利用大规模的无标注数据集进行训练，进而使网络生成人眼难以辨别的表情迁移图像。

发明内容

本发明针对现有技术中需要大量标注且生成图像质量不佳的技术问题，提供一种基于自监督学习与生成对抗机制的人脸表情迁移方法，旨在通过自监督方法解耦视频帧序列中的人脸身份与姿态，无需使用有标注的数据集，同时使用生成对抗机制实现高质量人脸的合成，实现人脸表情与姿态从一个个体到另一个个体的迁移。

本发明的目的通过采取如下技术方案达到：

本发明提供一种基于自监督学习与生成对抗机制的人脸表情迁移方法，在只有演说者人脸视频数据的前提下，能够学习到使用目标视频内的表情与姿态来驱动源图像中的人脸；该生成方法包括：人脸身份与姿态自监督解耦网络设计步骤、生成对抗网络条件生成网络设计步骤、模型训练步骤以及整体框架预测步骤；人脸身份与姿态自监督解耦训练步骤使用一个多帧的形变自编码器来融合来自同一个视频序列的不同帧的人脸信息，并估计出能够代表身份的人脸图像，该图像通常趋向于正面人脸，与姿态无关且保持身份信息；同时使用一个多尺度的自编码器来捕捉同一视频序列中的每一帧的全局形变信息，通过重建图像来学习每一帧的姿态信息；生成对抗网络条件生成训练步骤使用一组生成对抗网络，支持条件输入的生成器G从源视频得到身份图像为输入，并以目标视频的姿态信息为条件，进行有条件的图像生成，多尺度的判别器D则根据生成图像与真实图像进行判别；模型训练步骤主要是利用已构建的数据集对所设计的网络进行训练，进而获得网络权重；整体框架预测步骤主要是由人脸身份自编码器提取身份图像，人脸姿态自编码器提取目标人脸姿态表示，生成对抗网络根据这两者生成带有迁移表情的人脸图像。

具体的，操作步骤如下：

S1、人脸身份与姿态自监督解耦网络设计步骤，主要是致力于通过网络学习到能代表这两者的相互独立的特征；该步骤中包含了一个多帧的人脸身份自编码器F来提取人脸身份，融合多张人脸图像生成对应人脸的身份图像同时，使用了一个多尺度的人脸姿态自编码器P来提取每一帧人脸的姿态特征并跟据与姿态信息重建输入图像，通过重建任务激励两个自编码器解耦信息；

S2、生成对抗网络设计步骤，主要是致力于生成高质量的既保留源图像身份又保持目标视频姿态与表情的人脸图像；该步骤包含了一个带有条件的生成器G以人脸身份自编码器F生成的身份图像为输入，以人脸姿态自编码器提取到的姿态特征为条件，生成人脸表情迁移图像多尺度的判别器D则通过判别生成图像与真实图像，激励支持条件输入的生成器G生成逼真的人脸图像；