[发明专利]基于人像的视频生成方法及设备、存储介质

说明书

本发明实施例提供了一种基于人像的视频生成方法及设备、存储介质，所述方法包括：获取目标人脸静态图像；获取人像表达控制数据；将所述目标人脸静态图像和所述人像表达控制数据输入训练完成的生成对抗网络模型中分别进行相应的特征提取处理及进行特征融合，生成图像序列，所述图像序列中人像的动作姿态与所述人像表达控制数据的表达特征匹配；输出所生成的图像序列。采用上述方法可以提高基于人像的视频生成的普适性。

技术领域

本发明实施例涉及视频处理技术领域，尤其涉及基于人像的视频生成方法及设备、存储介质。

背景技术

虚拟人像是指利用计算机生成的人像。目前基于人像的视频生成方法主要是通过计算机图形技术合成三维动画人物，用动画参数驱动人脸的面部、头部等表情动作。

然而，这种方式需要针对某个特定人像进行建模，如若更换一个人像，需要重新调整模型，不具有普适性。

发明内容

本发明实施例提供一种基于人像的视频生成方法及设备、存储介质，以提高基于人像的视频生成的普适性。

本发明实施例提供了一种基于人像的视频生成方法，包括：获取目标人脸静态图像；获取人像表达控制数据；将所述目标人脸静态图像和所述人像表达控制数据输入训练完成的生成对抗网络模型中分别进行相应的特征提取处理及进行特征融合，生成图像序列，所述图像序列中人像的动作姿态与所述人像表达控制数据的表达特征匹配；输出所生成的图像序列。

可选地，所述人像表达控制数据包括以下至少一种：情感数据；语音数据。

可选地，所述获取语音数据包括以下至少一种：直接获取语音数据；获取文本数据，将所述文本数据转换为语音数据。

可选地，所述获取情感数据包括以下至少一种：获取用户输入的情感标签作为所述情感数据；识别所述语音数据或所述文本数据的情感特征，将识别出的情感特征序列作为所述情感数据；识别所述目标人脸静态图像的表情特征作为所述情感数据。

可选地，所述生成对抗网络模型包括：人像生成器，适于对所述目标人脸静态图像和所述人像表达控制数据分别进行相应的特征提取处理及进行特征融合，生成所述图像序列。

可选地，所述人像表达控制数据包括情感数据，所述将所述目标人脸静态图像和所述人像表达控制数据输入训练完成的生成对抗网络模型中进行特征提取处理，获得图像特征集和人像表达特征序列，包括：将所述目标人脸静态图像进行编码，提取得到图像特征集；将所述情感数据输入预设的人像表达特征提取模型，提取得到人像情感表达特征序列。

可选地，所述将所述目标人脸静态图像进行编码，提取所述图像特征，包括：采用预设的卷积神经网络对所述目标人脸静态图像进行编码，提取所述图像特征集。

可选地，所述将所述情感数据输入预设的人像表达特征提取模型，提取得到所述人像情感表达特征序列，包括以下至少一种：将所述情感数据输入预设的表情特征提取模型，提取得到人像面部表情特征序列；将所述情感数据输入预设的姿态特征提取模型，提取得到人像姿态特征序列。

可选地，在进行特征融合前，还包括：对所述人像面部表情特征序列按照预设的规则进行时序变换。

可选地，所述对所述人像面部表情特征序列按照预设的规则进行时序变换包括以下其中一种：对所述人像面部表情特征按照所述语音数据中句子间隔进行时序变换；对所述人像面部表情特征按照预设的时间段进行时序变换。

可选地，所述人像表达控制数据包括：语音数据；所述将所述目标人脸静态图像和所述人像表达控制数据输入训练完成的生成对抗网络模型中进行特征提取处理，获得图像特征集和人像表达特征序列，包括：将所述语音数据输入所述训练完成的生成对抗网络模型中进行音频特征提取处理，提取得到音频特征序列。