[发明专利]一种将语音转换成唇形的方法、系统、装置和存储介质

权利要求书

1.一种将语音转换成唇形的方法，其特征在于，包括以下步骤：

使用长短期记忆网络接收语音并进行处理；

获取所述长短期记忆网络输出的唇形关键点；

所述长短期记忆网络接受过的训练过程，包括：

构建训练集；所述训练集由语音样本和唇形关键点样本组成；

通过各所述唇形关键点样本的p-范数，分别对各所述唇形关键点样本进行标准化；

通过主成分分析，对各所述唇形关键点样本进行降维；

使用线性插值，对各所述唇形关键点样本进行上采样；

对各所述唇形关键点样本进行归一化；

对所述唇形关键点进行可视化；

所述对所述唇形关键点进行可视化，包括：

使用生成对抗网络接收所述唇形关键点；

获取所述生成对抗网络输出的唇形图像；

所述将语音转换成唇形的方法还包括以下至少一个步骤：

通过使用与所述训练过程中相同的p-范数，对所述唇形关键点进行反标准化；

通过与所述训练过程中相同的主成分分析，对所述唇形关键点进行升维；

通过与所述训练过程中相同的线性插值，对所述唇形关键点进行下采样；

通过使用与所述训练过程中相同的归一化参数，对各所述唇形关键点进行反归一化。

2.根据权利要求1所述的方法，其特征在于，所述构建训练集这一步骤，包括：

拍摄讲话人进行讲话的视频；

从所述视频中获取截图和音频；

对所述截图进行唇形识别，从而获得所述唇形关键点样本；

从所述音频提取MFCC特征，从而获得所述语音样本。

3.根据权利要求2所述的方法，其特征在于，所述从所述音频提取MFCC特征这一步骤，包括：

对所述音频进行分帧处理；

在分帧所得的各帧之间进行加窗处理；

使用梅尔滤波器组对每一帧对应的功率谱进行滤波；

对所述梅尔滤波器组中各所述梅尔滤波器的滤波结果进行DCT变换，从而获得所述MFCC特征。

4.根据权利要求2所述的方法，其特征在于，所述讲话人进行讲话的视频中，讲话人进行说话的时长与不说话的时长相同。

5.一种将语音转换成唇形的系统，其特征在于，包括测试模块和训练模块；

所述测试模块用于：

使用长短期记忆网络接收语音并进行处理；

获取所述长短期记忆网络输出的唇形关键点；

所述训练模块用于通过以下过程对所述长短期记忆网络进行训练：

构建训练集；所述训练集由语音样本和唇形关键点样本组成；

通过各所述唇形关键点样本的p-范数，分别对各所述唇形关键点样本进行标准化；

通过主成分分析，对各所述唇形关键点样本进行降维；

使用线性插值，对各所述唇形关键点样本进行上采样；

对各所述唇形关键点样本进行归一化；

对所述唇形关键点进行可视化；

所述对所述唇形关键点进行可视化，包括：

使用生成对抗网络接收所述唇形关键点；

获取所述生成对抗网络输出的唇形图像；

所述测试模块还用于执行以下至少一个步骤：

通过使用与所述训练过程中相同的p-范数，对所述唇形关键点进行反标准化；

通过与所述训练过程中相同的主成分分析，对所述唇形关键点进行升维；

通过与所述训练过程中相同的线性插值，对所述唇形关键点进行下采样；

通过使用与所述训练过程中相同的归一化参数，对各所述唇形关键点进行反归一化。

6.一种将语音转换成唇形的装置，其特征在于，包括存储器和处理器，所述存储器用于存储至少一个程序，所述处理器用于加载所述至少一个程序以执行权利要求1-4任一项所述方法。

7.一种存储介质，其中存储有处理器可执行的指令，其特征在于，所述处理器可执行的指令在由处理器执行时用于执行如权利要求1-4任一项所述的方法。