[发明专利]图像人脸表情迁移方法、装置、电子设备及可读存储介质

权利要求书

1.一种图像人脸表情迁移方法，其特征在于，包括：

获取源图像以及驱动图像，所述源图像中包括目标对象的人脸，所述目标对象的表情为迁移前的源表情，所述驱动图像包括迁移后的目标表情；

采用预先训练得到的表情迁移模型，提取所述源图像的人脸特征并生成所述源图像的归一化信息，并根据所述源图像、所述源图像的人脸特征、所述归一化信息以及所述驱动图像，得到目标图像，所述目标图像包含所述目标对象的人脸，且所述目标对象的表情为所述目标表情，其中，所述归一化信息包括多个特征图的归一化参数，各特征图的归一化参数分别由所述表情迁移模型中的一个处理层处理得到；

所述表情迁移模型包括：参数提取子模型，所述参数提取子模型包括：依次连接的多个下采样层以及依次连接的多个上采样层；

所述提取所述源图像的人脸特征并生成所述源图像的归一化信息，包括：

以所述源图像作为首个下采样层的输入信息，由各下采样层依次进行下采样处理，基于最后一个下采样层输出的特征图，得到所述源图像的人脸特征；

以所述源图像的人脸特征作为首个上采样层的输入信息，由各上采样层依次进行上采样处理，并基于每个上采样层输出的特征图得到所述归一化信息的一个归一化参数。

2.根据权利要求1所述的方法，其特征在于，所述归一化参数包括：所述上采样层输出的特征图的均值和标准差。

3.根据权利要求1或2所述的方法，其特征在于，所述表情迁移模型还包括：局部迁移子模型；

所述根据所述源图像、所述源图像的人脸特征、所述归一化信息以及所述驱动图像，得到目标图像，包括：

分别根据所述源图像和所述驱动图像，得到所述源图像的局部关键点以及所述驱动图像的局部关键点，所述源图像的局部关键点包括所述目标对象的各五官部位的关键点；

从所述源图像中提取多个源五官子图像，每个源五官子图像分别包括一个五官部位的图像；

将所述源图像的局部关键点、所述驱动图像的局部关键点以及所述多个源五官子图像输入所述局部迁移子模型，得到多个迁移后五官子图像；

根据所述源图像的人脸特征、所述归一化信息以及所述多个迁移后五官子图像，得到所述目标图像。

4.根据权利要求3所述的方法，其特征在于，所述表情迁移模型还包括：光流估计子模型，所述光流估计子模型包括：关键点提取网络；

所述分别根据所述源图像和所述驱动图像，得到所述源图像的局部关键点以及所述驱动图像的局部关键点，包括：

将所述源图像和所述驱动图像输入所述关键点提取网络，得到所述源图像的人脸关键点以及所述驱动图像的人脸关键点；

分别从所述源图像的人脸关键点以及所述驱动图像的人脸关键点中截取所述源图像的局部关键点以及驱动图像的局部关键点。

5.根据权利要求4所述的方法，其特征在于，所述分别从所述源图像的人脸关键点以及所述驱动图像的人脸关键点中截取所述源图像的局部关键点以及驱动图像的局部关键点之前，还包括：

根据所述源图像的人脸关键点，对所述驱动图像的人脸关键点进行变形处理，变形处理后的所述驱动图像的人脸关键点所表征的五官分布与所述源图像的人脸关键所表征的五官分布相同。

6.根据权利要求4所述的方法，其特征在于，所述光流估计子模型还包括：光流估计网络，所述光流估计网络以所述源图像的人脸关键点以及所述驱动图像的人脸关键点为输入信息，并对所述源图像的人脸关键点以及所述驱动图像的人脸关键点进行光流估计，得到所述源图像到所述驱动图像的光流信息；

所述根据所述源图像的人脸特征、所述归一化信息以及所述多个迁移后五官子图像，得到所述目标图像，包括：

对所述源图像的人脸特征以及所述源图像到所述驱动图像的光流信息进行映射处理，得到所述源图像的目标人脸特征，所述目标人脸特征包含所述源图像到所述驱动图像的光流信息；

根据所述源图像的目标人脸特征、所述归一化信息以及所述多个迁移后五官子图像，得到所述目标图像。