[发明专利]视频生成方法、装置、电子设备和计算机存储介质

说明书

本实施例公开了一种视频生成方法、装置、电子设备、计算机存储介质，该方法包括：从每帧人脸图像提取出人脸形状信息和头部姿势信息；根据每帧人脸图像对应的音频片段，得出人脸表情信息；根据人脸表情信息、人脸形状信息和头部姿势信息，得到每帧人脸图像的人脸关键点信息；根据人脸关键点信息，对预先获取的人脸图像进行补全处理，得到每帧生成图像；根据各帧生成图像，生成目标视频；在本公开实施例中，由于人脸关键点信息是考虑头部姿势信息的基础上得出的，因而，目标视频可以体现出头部姿势信息；而头部姿势信息是根据每帧人脸图像得出的，因此，本公开实施例可以使得目标视频符合关于头部姿势的实际需求。

技术领域

本公开涉及图像处理技术，尤其涉及一种视频生成方法、装置、电子设备和计算机存储介质。

背景技术

在相关技术中，说话人脸的生成是语音驱动人物以及视频生成任务中重要的研究方向；然而，相关的说话人脸生成方案并不能满足与头部姿势相关的实际需求。

发明内容

本公开实施例期望提供视频生成的技术方案。

本公开实施例提供了一种视频生成方法，所述方法包括：

获取多帧人脸图像和所述多帧人脸图像中每帧人脸图像对应的音频片段；

从所述每帧人脸图像提取出人脸形状信息和头部姿势信息；根据所述每帧人脸图像对应的音频片段，得出人脸表情信息；根据所述人脸表情信息、所述人脸形状信息和所述头部姿势信息，得到每帧人脸图像的人脸关键点信息；

根据所述每帧人脸图像的人脸关键点信息，对所述预先获取的人脸图像进行补全处理，得到每帧生成图像；

根据各帧生成图像，生成目标视频。

可选地，所述根据所述人脸表情信息、所述人脸形状信息和所述头部姿势信息，得到每帧人脸图像的人脸关键点信息，包括：

根据所述人脸表情信息和所述人脸形状信息，得出人脸点云数据；根据所述头部姿势信息，将所述人脸点云数据投影到二维图像，得到所述每帧人脸图像的人脸关键点信息。

可选地，所述根据所述每帧人脸图像对应的音频片段，得出人脸表情信息，包括：

提取所述音频片段的音频特征，消除所述音频特征的音色信息；根据消除所述音色信息后的音频特征，得出所述人脸表情信息。

可选地，所述消除所述音频特征的音色信息，包括：

通过对所述音频特征进行归一化处理，消除所述音频特征的音色信息。

可选地，所述根据各帧生成图像，生成目标视频，包括：

针对每帧生成图像，根据所述预先获取的人脸图像调整除人脸关键点外的其它区域图像，得到调整后的每帧生成图像；利用调整后的各帧生成图像组成目标视频。

可选地，所述方法还包括：对所述目标视频中的图像的说话相关部位的人脸关键点进行运动平滑处理，和/或，对所述目标视频中的图像进行消抖处理；其中，所述说话相关部位至少包括嘴部和下巴。

可选地，所述对所述目标视频中的图像的说话相关部位的人脸关键点进行运动平滑处理，包括：

在t大于或等于2，且在所述目标视频的第t帧图像的说话相关部位中心位置与所述目标视频的第t-1帧图像的说话相关部位中心位置的距离小于或等于设定距离阈值的情况下，根据所述目标视频的第t帧图像的说话相关部位的人脸关键点信息和所述目标视频的第t-1帧图像的说话相关部位的人脸关键点信息，得到所述目标视频的第t帧图像的说话相关部位的经运动平滑处理后的人脸关键点信息。

可选地，所述对所述目标视频中的图像进行消抖处理，包括：