[发明专利]一种音视频合成方法

说明书

本发明提供了一种音视频合成方法，该音视频合成方法有别于现有技术需要对视频图像的关键点进行提取和建模处理，其在合成过程中并不涉及任何视频图像关键点的设计，而是完全通过输入的文本数据进行驱动实现音频和视频的生成以及两者的合成，并且该音视频合成方法在生成视频时充分考虑了视频前后帧图像之间的关系，还采用由粗到精的生成方式来对文本数据对应的视频进行进一步的优化处理，以使得生成的视频能够在画面连续性和画面清晰度上都满足特定要求，从而大大地降低了音视频合成的难度和提高音视频合成的质量。

技术领域

本发明涉及智能信号处理的技术领域，特别涉及一种音视频合成方法。

背景技术

传统的语音合成只局限于音频信号的合成，其并未涉及音频信号和视频信号的同时合成。随着应用场景的变化和人机交互技术的广泛应用，关于音频信号和视频信号之间相互结合的音视频合成领域受到广泛的关注。现有技术对于视频的合成，一般是通过对视频图像中的关键点进行建模或者通过对视频图像进行降维处理后再进行建模。

虽然，对视频图像进行建模能够精确地对图像进行标定，但是对视频图像的建模过程涉及较多繁复的步骤，其中还涉及在视频图像中提取关键点信息，但是无论是对视频图像中的关键点进行建模还是对视频图像进行降维处理后再进行建模，都普遍存在视频图像合成处理连续性较差和清晰度较低等不同的问题，这使得通过建模方式合成得到的音视频信号都不能满足对音视频信号连续和清晰的要求。可见，现有技术急需一种能够简便和快速地获得高质量音视频合成信号的合成方法。

发明内容

针对现有技术存在的缺陷，本发明提供一种音视频合成方法，该音视频合成方法包括如下步骤：步骤(1)，对经过训练的深度神经网络模型输入文本数据，以得到与该文本数据对应的声学参数和变分自编码器VAE隐层特征；步骤(2)，根据该声学参数，得到与该文本数据对应的目标音频；步骤(3)，根据该变分自编码器VAE隐层特征，得到与该文本数据对应的目标视频；步骤(4)，将该目标音频和所述目标视频进行组合，以实现该音视频合成。可见，该音视频合成方法有别于现有技术需要对视频图像的关键点进行提取和建模处理，其在合成过程中并不涉及任何视频图像关键点的设计，而是完全通过输入的文本数据进行驱动实现音频和视频的生成以及两者的合成，并且该音视频合成方法在生成视频时充分考虑了视频前后帧图像之间的关系，还采用由粗到精的生成方式来对文本数据对应的视频进行进一步的优化处理，以使得生成的视频能够在画面连续性和画面清晰度上都满足特定要求，从而大大地降低了音视频合成的难度和提高音视频合成的质量。

本发明提供一种音视频合成方法，其特征在于，所述音视频合成方法包括如下步骤：

步骤(1)，对经过训练的深度神经网络模型输入文本数据，以得到与所述文本数据对应的声学参数和变分自编码器VAE隐层特征；

步骤(2)，根据所述声学参数，得到与所述文本数据对应的目标音频；

步骤(3)，根据所述变分自编码器VAE隐层特征，得到与所述文本数据对应的目标视频；

步骤(4)，将所述目标音频和所述目标视频进行组合，以实现所述音视频合成；

进一步，在所述步骤(1)中，对经过训练的深度神经网络模型输入文本数据，以得到与所述文本数据对应的声学参数和变分自编码器VAE隐层特征具体包括，

步骤(101)，构建用于所述训练的文本-音频-视频数据库；

步骤(102)，基于所述文本-音频-视频数据库中的所有数据对所述深度神经网络模型进行训练；

步骤(103)，将所述文本数据输入至经过训练的所述深度神经网络模型中，并从所述深度神经网络模型的输出得到与所述文本数据对应的声学参数和变分自编码器VAE隐层特征；

进一步，在所述步骤(101)中，构建用于所述训练的文本-音频-视频数据库具体包括，