[发明专利]一种图像处理方法、装置、电子设备及存储介质

说明书

本发明实施例提供了一种图像处理方法、装置、电子设备及存储介质，方法包括：获取源图像中源人物的第一三维人脸信息及驱动视频的每帧目标图像中的目标人物的第二三维人脸信息，基于第一三维人脸信息包括的身份信息及每帧目标图像对应的第二三维人脸信息包括的表情信息和姿态信息，渲染处理得到初始人脸图像，基于源人物的人脸关键点和目标人物的人脸关键点确定目标光流信息，提取每帧初始人脸图像和源图像的图像特征，将源图像的图像特征按照目标光流信息进行变换，得到变换后的图像特征，基于变换后的图像特征与每帧初始人脸图像的图像特征共同确定目标视频。变换后的图像特征和每帧初始人脸图像的图像特征相互补充完善，改善人脸驱动效果。

技术领域

本发明涉及多媒体数据处理技术领域，特别是涉及一种图像处理方法、装置、电子设备及存储介质。

背景技术

人脸驱动技术是根据给定的一个源图像以及一个目标人物的驱动视频，生成人物为源图像中人物，表情和姿态与驱动视频中目标人物的表情和姿态相同的一段目标视频的技术，其可以应用到社交娱乐、视频压缩、在线会议等多种场景中。

目前的人脸驱动方式是根据源图像A和驱动视频B中包括的各个图像的关键点，估计出光流信息，进而将源图像A按照估计出的光流信息做二维变换，得到人物为源图像A中人物a，表情和姿态与驱动视频B中目标人物b的表情和动作相同的目标视频。

但是，由于源图像和驱动视频中的人物的表情和姿态可能相差较大，所以采用上述二维变换的方式得到目标视频中可能会出现人物扭曲变形、画面模糊的问题，人脸驱动效果不佳。

发明内容

本发明实施例的目的在于提供一种图像处理方法、装置、电子设备及存储介质，以提高人脸驱动效果。具体技术方案如下：

第一方面，本发明实施例提供了一种图像处理方法，所述方法包括：

获取源图像中源人物的第一三维人脸信息以及驱动视频的每帧目标图像中的目标人物的第二三维人脸信息，其中，所述三维人脸信息至少包括身份信息、表情信息、姿态信息；

基于所述第一三维人脸信息包括的身份信息以及每帧目标图像对应的所述第二三维人脸信息包括的表情信息和姿态信息，进行渲染处理得到每帧目标图像对应的初始人脸图像；

基于所述源图像中源人物的人脸关键点和所述每帧目标图像中目标人物的人脸关键点确定从所述源图像到所述每帧目标图像的目标光流信息；

分别提取每帧初始人脸图像以及所述源图像的图像特征，并将所述源图像的图像特征按照所述目标光流信息进行变换，得到所述每帧目标图像对应的变换后的图像特征；

基于所述变换后的图像特征与所述每帧初始人脸图像的图像特征，确定目标视频。

可选的，所述基于所述变换后的图像特征与每帧所述初始人脸图像的图像特征，确定目标视频的步骤，包括：

将所述每帧目标图像对应的变换后的图像特征与对应的初始人脸图像的图像特征进行特征拼接，得到该帧初始人脸图像对应的拼接后的图像特征；

将所述每帧初始人脸图像对应的拼接后的图像特征输入预设的图像生成器，以使所述图像生成器基于所述拼接后的图像特征生成具有所述源图像的背景和细节的目标视频。

可选的，所述目标光流信息用于标识所述源图像相对于所述目标图像的运动趋势的变换矩阵；

所述将所述源图像的图像特征按照所述目标光流信息进行变换，得到所述每帧目标图像对应的变换后的图像特征的步骤，包括：

将所述源图像的图像特征与所述每帧目标图像对应的变换矩阵的乘积，确定为该帧目标图像对应的变换后的图像特征。

可选的，所述基于所述源图像中源人物的人脸关键点和所述目标图像中目标人物的人脸关键点确定从所述源图像到所述每帧目标图像的目标光流信息的步骤，包括：