[发明专利]图像人脸表情迁移方法、装置、电子设备及可读存储介质

说明书

本申请实施例提供一种图像人脸表情迁移方法、装置、电子设备及可读存储介质，该方法包括：获取源图像以及驱动图像；采用预先训练得到的表情迁移模型，提取所述源图像的人脸特征并生成所述源图像的归一化信息，并根据所述源图像、所述源图像的人脸特征、所述归一化信息以及所述驱动图像，得到目标图像，其中，所述归一化信息包括多个特征图的归一化参数，各特征图的归一化参数分别由所述表情迁移模型中的一个处理层处理得到。利用该方法，模型可以对各特征图进行全局规划，从而较好地保存源图像的外观信息，进而，模型基于该归一化信息，以及提取到的人脸特征、源图像以及驱动图像，可以人脸表情准确性更高的目标图像。

技术领域

本申请涉及图像处理技术领域，具体而言，涉及一种图像人脸表情迁移方法、装置、电子设备及可读存储介质方法及装置。

背景技术

二维(2D)人脸表情迁移是图像处理领域中的一种重要的人脸图像编辑技术。利用二维人脸表情迁移，可以使得用户将源人脸图像变换为另外的头部姿态和表情，以达到通过输入人脸图像来控制目标图像或视频中的人脸表情的目的。二维人脸表情迁移技术还可以应用在人脸识别中，为人脸识别模型提供一种数据增强方法。因此，成为研究的热点。

现有技术中，可以训练生成器实现图像的人脸表情迁移。将源图像、源图像的人脸关键点以及拥有变换后表情的目标人脸关键点作为输入参数输入至该生成器，生成器经过卷积等处理过程，可以得到重构后的图像，该重构后的图像包括源图像中的人脸，并且人脸的表情为变换后的表情。

但是，使用现有的方法所得到的重构后的图像存在人脸的表情不够准确的问题。

发明内容

有鉴于此，本申请实施例的目的在于提供一种图像人脸表情迁移方法、装置、电子设备及可读存储介质，用于解决现有技术中重构后的图像所存在的人脸表情不准确的问题。

第一方面，本申请实施例提供一种图像人脸表情迁移方法，包括：

获取源图像以及驱动图像，所述源图像中包括目标对象的人脸，所述目标对象的表情为迁移前的源表情，所述驱动图像包括迁移后的目标表情；

采用预先训练得到的表情迁移模型，提取所述源图像的人脸特征并生成所述源图像的归一化信息，并根据所述源图像、所述源图像的人脸特征、所述归一化信息以及所述驱动图像，得到目标图像，所述目标图像包含所述目标对象的人脸，且所述目标对象的表情为所述目标表情，其中，所述归一化信息包括多个特征图的归一化参数，各特征图的归一化参数分别由所述表情迁移模型中的一个处理层处理得到。

作为一种可选的实现方式，所述表情迁移模型包括：参数提取子模型，所述参数提取子模型包括：依次连接的多个下采样层以及依次连接的多个上采样层；

所述提取所述源图像的人脸特征并生成所述源图像的归一化信息，包括：

以所述源图像作为首个下采样层的输入信息，由各下采样层依次进行下采样处理，基于最后一个下采样层输出的特征图，得到所述源图像的人脸特征；

以所述源图像的人脸特征作为首个上采样层的输入信息，由各上采样层依次进行上采样处理，并基于每个上采样层输出的特征图得到所述归一化信息的一个归一化参数。

作为一种可选的实现方式，所述归一化参数包括：所述上采样层输出的特征图的均值和标准差。

作为一种可选的实现方式，所述表情迁移模型还包括：局部迁移子模型；

所述根据所述源图像、所述源图像的人脸特征、所述归一化信息以及所述驱动图像，得到目标图像，包括：

分别根据所述源图像和所述驱动图像，得到所述源图像的局部关键点以及所述驱动图像的局部关键点，所述源图像的局部关键点包括所述目标对象的各五官部位的关键点；

从所述源图像中提取多个源五官子图像，每个源五官子图像分别包括一个五官部位的图像；