[发明专利]视频生成方法、装置、设备及存储介质

说明书

本公开实施例公开了一种视频生成方法、装置、设备及存储介质。包括：提取语音数据中各语音帧的语音特征以及各语音帧对应视频帧的图像特征；根据所述语音特征和所述图像特征对所述视频帧进行仿射变换；根据仿射变换后的视频帧生成目标视频。本公开实施例公开的视频生成方法，根据语音特征和图像特征对视频帧进行仿射变换，从而根据仿射变换后的视频帧生成目标视频，以实现语音与视频中嘴型的对齐，可以降低成本，提高嘴型和语音对齐的准确度。

技术领域

本公开实施例涉及图像处理技术领域，尤其涉及一种视频生成方法、装置、设备及存储介质。

背景技术

在配音领域及动画领域中都需要将语音与图像中人的嘴型对应起来。相关技术中，为了实现语音和嘴型对齐，或者成本较高，或者生成的嘴型和语音对齐的准确度不高。

发明内容

本公开实施例提供一种视频生成方法、装置、设备及存储介质，以实现语音与视频中嘴型的对齐，可以降低成本，提高嘴型和语音对齐的准确度。

第一方面，本公开实施例提供了一种视频生成方法，包括：

提取语音数据中各语音帧的语音特征以及各语音帧对应视频帧的图像特征；

根据所述语音特征和所述图像特征对所述视频帧进行仿射变换；

根据仿射变换后的视频帧生成目标视频。

第二方面，本公开实施例还提供了一种视频生成装置，包括：

特征提取模块，用于提取语音数据中各语音帧的语音特征以及各语音帧对应视频帧的图像特征；

仿射变换模块，用于根据所述语音特征和所述图像特征对所述视频帧进行仿射变换；

目标视频生成模块，用于根据仿射变换后的视频帧生成目标视频。

第三方面，本公开实施例还提供了一种电子设备，所述电子设备包括：

一个或多个处理装置；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理装置执行，使得所述一个或多个处理装置实现如本公开实施例所述的视频生成方法。

第四方面，本公开实施例还提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现如本公开实施例所述的视频生成方法。

本公开实施例公开了一种视频生成方法、装置、设备及存储介质。提取语音数据中各语音帧的语音特征以及各语音帧对应视频帧的图像特征；根据所述语音特征和所述图像特征对所述视频帧进行仿射变换；根据仿射变换后的视频帧生成目标视频。本公开实施例公开的视频生成方法，根据语音特征和图像特征对视频帧进行仿射变换，从而根据仿射变换后的视频帧生成目标视频，以实现语音与视频中嘴型的对齐，可以降低成本，提高嘴型和语音对齐的准确度。

附图说明

图1是本公开实施例中的一种视频生成方法的流程图；

图2是本公开实施例中的仿射变换子网络的原理图；

图3是本公开实施例中的设定神经网络对视频帧进行仿射变换的原理图；

图4是本公开实施例中的一种视频生成装置的结构示意图；

图5是本公开实施例中的一种电子设备的结构示意图。

具体实施方式