[发明专利]一种肖像画视频生成方法、装置、电子设备及存储介质

说明书

本发明提供一种肖像画视频生成方法、装置、电子设备及存储介质，包括：对预设目标音频和目标人脸图像进行特征提取，得到音频特征信息和人脸特征点信息；将音频特征信息和人脸特征点信息输入训练好的深度神经网络语音模型，得到音频同步的人脸特征点序列；将目标人脸图像和音频同步的人脸特征点序列输入训练好的肖像画视频生成模型，得到目标肖像画图片序列信息；将目标肖像画图片序列信息和预设目标音频进行合成，得到目标人脸的肖像画视频。最终实现根据目标人脸照片和预设目标音频，生成一个音频同步的说话肖像画视频。

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种肖像画视频生成方法、装置、电子设备及存储介质。

背景技术

说话肖像画视频的生成，是指根据目标人物的一张人脸图像和一段音频，生成与该音频同步的、艺术风格化后的目标人物说话的肖像画视频。生成的视频中每一帧都是一个目标人物的艺术肖像画，且肖像画中的人物嘴型与该时刻的音频同步。

而如何根据一张人脸图像生成动画，是计算机视觉中的一个重要问题，在电影制作、虚拟主播、视频流、新媒体等领域有着广泛的应用。相较于真实人脸，艺术肖像画能激发起人类不同的情感体验，甚至唤起不同的人脑功能。因此，艺术风格化后的说话人视频，即说话肖像画视频，能实现新的交互和娱乐应用，从而获得更强的视觉效果。

然而，目前还没有方法解决从人脸照片生成一个说话肖像画视频的问题。

因此，如何根据人脸照片生成一个说话的肖像画视频，已经成为业界亟待解决的问题。

发明内容

本发明提供一种肖像画视频生成方法、装置、电子设备及存储介质，用以解决现有技术中无法根据人脸照片生成一个说话的肖像画视频的问题。

本发明提供一种肖像画视频生成方法，包括：

对预设目标音频和人脸图像进行特征提取，得到音频特征信息和人脸特征点信息；

将所述音频特征信息和所述人脸特征点信息输入训练好的深度神经网络语音模型，得到音频同步的人脸特征点序列；

将目标人脸图像和所述音频同步的人脸特征点序列输入训练好的肖像画视频生成模型，得到目标肖像画图片序列信息；

将所述目标肖像画图片序列信息和所述预设目标音频进行合成，得到目标人脸的肖像画视频；

其中，所述训练好的深度神经网络语音模型是根据音频同步的音频特征样本信息和人脸特征点样本信息训练得到的；

其中，所述训练好的肖像画视频生成模型，是由真实人脸图像样本信息和携带真实标签的肖像画样本图像训练得到的。

根据本发明提供的一种肖像画视频生成方法，在将所述音频特征信息和所述人脸特征点信息输入训练好的深度神经网络语音模型的步骤之前，所述方法还包括：

从预设唇读数据集中获取说话视频数据集的样本视频文件和样本音频文件；

按照预设采样间隔，提取样本视频文件中的人脸特征点样本信息，并同步采集样本音频文件中的音频特征样本信息，得到音频同步的音频特征样本信息和人脸特征点样本信息。

根据本发明提供的一种肖像画视频生成方法，所述提取样本视频文件中的人脸特征点样本信息，并同步采集样本音频文件中的音频特征样本信息，得到音频同步的音频特征样本信息和人脸特征点样本信息的步骤，具体包括：

对所述样本音频文件进行梅尔频率倒谱系数特征提取，得到音频特征样本信息；

对所述样本视频文件进行人脸特征点检测，得到人脸特征点样本信息。

根据本发明提供的一种肖像画视频生成方法，在将所述音频特征信息和所述人脸特征点信息输入训练好的深度神经网络语音模型的步骤之前，所述方法还包括：