[发明专利]一种人脸驱动方法、装置、电子设备及计算机可读存储介质

权利要求书

1.一种人脸驱动方法，其特征在于，所述方法包括：

获取待驱动图像和驱动图像，其中，所述待驱动图像和驱动图像的人脸不同；

基于所述待驱动图像和驱动图像，生成目标稀疏光流图像；

将所述目标稀疏光流图像输入至运动估计模型，得到目标稠密光流图像和目标显著性图像；

将所述目标稠密光流图像中各像素的坐标和所述待驱动图像的各像素坐标相乘，得到所述待驱动图像的第一目标驱动图像；

将所述第一目标驱动图像与所述目标显著性图像进行融合后，得到融合图像；

将所述融合图像输入图像生成模型，得到所述待驱动图像的第二目标驱动图像。

2.根据权利要求1所述的方法，其特征在于，所述运动估计模型基于第一训练样本集训练得到，所述第一训练样本集采用以下步骤得到：

获取不同人物的多组两帧图像，每组所述两帧图像均包括第一被驱动图像和第一驱动图像；

针对每组所述两帧图像，基于所述第一被驱动图像和所述第一驱动图像，得到所述第一被驱动图像的第一图像和所述第一驱动图像的稀疏光流图像；

基于所述第一图像和所述第一被驱动图像，得到稠密光流图像；

基于所述第一驱动图像和所述第一图像，得到显著性图像；

将所述稀疏光流图像、稠密光流图像以及显著性图像作为第一训练样本集。

3.根据权利要求2所述的方法，其特征在于，所述针对每组所述两帧图像，基于所述第一被驱动图像和所述第一驱动图像，得到所述第一被驱动图像的第一图像的步骤，包括：

针对每组所述两帧图像，识别所述第一被驱动图像的第一人脸关键点；

识别所述第一驱动图像的第二人脸关键点；

依据所述第一人脸关键点，构建所述第一被驱动图像的第一人脸网格；

依据所述第二人脸关键点，构建所述第一驱动图像的第二人脸网格；

将各第一网格向与所述第一网格对应的各第二网格移动，确定移动量，其中，所述第一人脸网格包括多个第一网格，所述第二人脸网格包括多个第二网格；

基于所述移动量，得到所述第一被驱动图像的第一图像。

4.根据权利要求3所述的方法，其特征在于，所述基于所述第一被驱动图像和所述第一驱动图像，得到所述第一驱动图像的稀疏光流图像的步骤，包括：

确定各所述第一人脸关键点的第一坐标和各所述第二人脸关键点的第二坐标；

计算各所述第一坐标和各所述第二坐标的第一差值，所述第一坐标和所述第二坐标的人脸关键点对应；

基于各所述第一差值，得到所述第一驱动图像的稀疏光流图像。

5.根据权利要求2所述的方法，其特征在于，所述基于所述第一图像和所述第一被驱动图像，得到稠密光流图像的步骤，包括：

将所述第一图像和所述第一被驱动图像输入至光流估计模型，得到稠密光流图像。

6.根据权利要求2所述的方法，其特征在于，所述基于所述第一驱动图像和所述第一图像，得到显著性图像的步骤，包括：

将所述第一驱动图像转换为第一灰度图像；

将所述第一图像转换为第二灰度图像；

确定所述第一灰度图像中各像素点的第一灰度值；

确定所述第二灰度图像中的各像素点的第二灰度值；

计算所述第一灰度值和所述第二灰度值的第二差值，

依据所述第二差值，得到显著性图像。

7.根据权利要求2所述的方法，其特征在于，所述图像生成模型基于第二训练样本集训练得到，所述第二训练样本集采用以下步骤得到：

将各所述显著性图像与对应的所述第一图像融合，得到各第二图像；

将各所述第二图像和所述第一驱动图像作为第二训练样本集。