[发明专利]一种音视频合成方法

权利要求书

1.一种音视频合成方法，其特征在于，所述音视频合成方法包括如下步骤：

步骤(1)，对经过训练的深度神经网络模型输入文本数据，以得到与所述文本数据对应的声学参数和变分自编码器VAE隐层特征；

步骤(2)，根据所述声学参数，得到与所述文本数据对应的目标音频；

步骤(3)，根据所述变分自编码器VAE隐层特征，得到与所述文本数据对应的目标视频；

步骤(4)，将所述目标音频和所述目标视频进行组合，以实现所述音视频合成；

在所述步骤(3)中，根据所述变分自编码器VAE隐层特征，得到与所述文本数据对应的目标视频具体包括，

步骤(301)，对所述变分自编码器VAE隐层特征进行变换处理，以此得到初级视频；

步骤(302)，对所述初级视频进行关于预设算法模型的变换处理，以此得到关于所述文本数据的自然视频；

步骤(303)，根据所述自然视频生成所述目标视频；

在所述步骤(302)中，对所述初级视频进行关于预设算法模型的变换处理，以此得到关于所述文本数据的自然视频具体包括，

步骤(3021)，基于条件生成对抗网络CGAN，构建Video-to-Video Synthesis模型作为所述预设算法模型；

步骤(3022)，对所述Video-to-Video Synthesis模型进行训练处理；

步骤(3023)，将所述初级视频输入至经过所述训练处理的所述Video-to-VideoSynthesis模型，以此输出得到所述自然视频；

在所述步骤(3021)中，基于条件生成对抗网络CGAN，构建Video-to-Video Synthesis模型作为所述预设算法模型具体包括，基于条件生成对抗网络CGAN、预设视频图像帧顺序条件和视频精度调整模式，构建得到所述Video-to-Video Synthesis模型；

或者，

在所述步骤(3022)中，对所述Video-to-Video Synthesis模型进行训练处理具体包括，

采用训练所述深度神经网络模型的文本-音频-视频数据库中的视频相关数据，对所述Video-to-Video Synthesis模型进行训练处理，以使所述Video-to-Video Synthesis模型的视频变换特性满足预设特性条件。

2.如权利要求1所述的音视频合成方法，其特征在于：

在所述步骤(1)中，对经过训练的深度神经网络模型输入文本数据，以得到与所述文本数据对应的声学参数和变分自编码器VAE隐层特征具体包括，

步骤(101)，构建用于所述训练的文本-音频-视频数据库；

步骤(102)，基于所述文本-音频-视频数据库中的所有数据对所述深度神经网络模型进行训练；

步骤(103)，将所述文本数据输入至经过训练的所述深度神经网络模型中，并从所述深度神经网络模型的输出得到与所述文本数据对应的声学参数和变分自编码器VAE隐层特征。

3.如权利要求2所述的音视频合成方法，其特征在于：

在所述步骤(101)中，构建用于所述训练的文本-音频-视频数据库具体包括，

获取关于不同场景的音频数据和视频数据，并从所述音频数据中提取对应的声学参数，以及从所述视频数据的每一帧图像中提取对应的VAE隐层特征，并根据预设数据结构，通过所述声学参数和所述VAE隐层特征录制和标注，以得到所述文本-音频-视频数据库。

4.如权利要求1所述的音视频合成方法，其特征在于：

在所述步骤(2)中，根据所述声学参数，得到与所述文本数据对应的目标音频具体包括，

步骤(201)，将所述文本数据输入至训练好的网络模型中，从而得到所述声学参数；

步骤(202)，将所述声学参数输入至声码器，从而通过所述声码器重构得到所述目标音频。