[发明专利]一种肖像画视频生成方法、装置、电子设备及存储介质

权利要求书

1.一种肖像画视频生成方法，其特征在于，包括：

对预设目标音频和目标人脸图像进行特征提取，得到音频特征信息和人脸特征点信息；

将所述音频特征信息和所述人脸特征点信息输入训练好的深度神经网络语音模型，得到音频同步的人脸特征点序列；

将目标人脸图像和所述音频同步的人脸特征点序列输入训练好的肖像画视频生成模型，得到目标肖像画图片序列信息；

将所述目标肖像画图片序列信息和所述预设目标音频进行合成，得到目标人脸的肖像画视频；

其中，所述训练好的深度神经网络语音模型是根据音频同步的音频特征样本信息和人脸特征点样本信息训练得到的；

其中，所述训练好的肖像画视频生成模型，是由真实人脸图像样本信息和携带真实标签的肖像画样本图像训练得到的。

2.根据权利要求1所述肖像画视频生成方法，其特征在于，在将所述音频特征信息和所述人脸特征点信息输入训练好的深度神经网络语音模型的步骤之前，所述方法还包括：

从预设唇读数据集中获取说话视频数据集的样本视频文件和样本音频文件；

按照预设采样间隔，提取样本视频文件中的人脸特征点样本信息，并同步采集样本音频文件中的音频特征样本信息，得到音频同步的音频特征样本信息和人脸特征点样本信息。

3.根据权利要求2所述肖像画视频生成方法，其特征在于，所述提取样本视频文件中的人脸特征点样本信息，并同步采集样本音频文件中的音频特征样本信息，得到音频同步的音频特征样本信息和人脸特征点样本信息的步骤，具体包括：

对所述样本音频文件进行梅尔频率倒谱系数特征提取，得到音频特征样本信息；

对所述样本视频文件进行人脸特征点检测，得到人脸特征点样本信息。

4.根据权利要求2所述肖像画视频生成方法，其特征在于，在将所述音频特征信息和所述人脸特征点信息输入训练好的深度神经网络语音模型的步骤之前，所述方法还包括：

将样本视频文件中第一帧图像的人脸特征点样本信息和任一预测时刻的音频特征样本信息，作为一组训练样本，获取多组训练样本；

利用多组训练样本对预设深度神经网络语音模型进行训练。

5.根据权利要求4所述肖像画视频生成方法，其特征在于，利用多组训练样本对预设深度神经网络语音模型进行训练的步骤，具体包括：

对于任意一个训练样本，将所述训练样本输入预设深度神经网络语音模型，确认模型输出与预测时刻音频同步的人脸特征点；

根据模型输出的人脸特征点和真实的与预测时刻音频同步的人脸特征点，计算最小化损失函数值，当所述最小化损失函数值小于预设阈值时，完成训练，得到训练好的深度神经网络语音模型。

6.根据权利要求1所述肖像画视频生成方法，其特征在于，在所述将目标人脸图像和所述音频同步的人脸特征点序列输入训练好的肖像画视频生成模型的步骤之前，所述方法还包括：

获取真实人脸数据样本集中的真实人脸图像样本信息，并获取肖像画图像数据集的肖像画样本图像；

对所述真实人脸图像样本信息进行特征点提取，得到真实人脸图像特征点样本信息；

对所述肖像画样本图像进行特征点提取，得到肖像画图像特征点样本信息；

根据所述肖像画样本图像和肖像画图像特征点样本信息、真实人脸图像样本信息和真实人脸图像特征点样本信息构建第一训练样本；

对肖像画电影视频样本文件的图像帧，进行特征点提取和线条提取，得到第二训练样本集；

根据所述第一训练样本和第二训练样本对预设对抗网络模型进行训练，当满足预设训练条件时，得到训练好的肖像画视频生成模型；

其中，所述预设对抗网络模型由生成子模型、单帧判别子模型和多帧判别子模型构成。