[发明专利]基于唇形的语音生成方法、装置和系统及存储介质

权利要求书

1.一种基于唇形的语音生成方法，包括：

获取包含唇形信息的实际图像序列；

从所述实际图像序列的每个实际图像中分别提取唇部特征，以获得实际唇部特征序列；

将所述实际唇部特征序列输入唇语识别网络，以获得实际中间表示序列，其中，所述实际中间表示序列是音子后验概率序列或音子序列；以及

将所述实际中间表示序列输入目标语音生成网络，以获得目标发音人的目标语音，所述目标语音的内容与所述实际图像序列中的唇形信息表达的语音内容一致。

2.根据权利要求1所述的基于唇形的语音生成方法，其中，所述将所述实际中间表示序列输入目标语音生成网络，以获得目标发音人的目标语音包括：

将所述实际中间表示序列与音色配置参数一起输入所述目标语音生成网络，以获得所述目标语音，其中，所述音色配置参数是与所述目标发音人唯一相关的发音人嵌入向量。

3.根据权利要求1所述的基于唇形的语音生成方法，其中，在所述将所述实际中间表示序列输入目标语音生成网络，以获得目标发音人的目标语音之前，所述语音生成方法还包括：

基于音色配置参数从多个预设语音生成网络中选择所述目标语音生成网络，其中，所述音色配置参数是与所述目标语音生成网络唯一相关的标识信息。

4.根据权利要求2或3所述的基于唇形的语音生成方法，其中，在所述将所述实际中间表示序列输入目标语音生成网络，以获得目标发音人的目标语音之前，所述语音生成方法还包括：

接收用户输入信息；以及

基于所述用户输入信息确定所述音色配置参数。

5.根据权利要求1至3任一项所述的基于唇形的语音生成方法，其中，所述实际中间表示序列是音子后验概率序列，所述语音生成方法还包括：

获取包含唇形信息的样本图像序列和与所述样本图像序列相对应的标注音子序列，其中，所述标注音子序列中的音子与所述样本图像序列中的唇形信息表达的语音内容一致；

从所述样本图像序列的每个样本图像中分别提取唇部特征，以获得样本唇部特征序列；

将所述样本唇部特征序列输入音子识别网络，以获得样本音子序列，所述音子识别网络包括所述唇语识别网络和连接在所述唇语识别网络后面的输出层；以及

将所述标注音子序列作为所述样本音子序列的期望值，对所述音子识别网络进行训练，以获得训练好的所述唇语识别网络。

6.根据权利要求1至3任一项所述的基于唇形的语音生成方法，其中，所述语音生成方法还包括：

获取样本中间表示序列和与所述样本中间表示序列相对应的标注语音，其中，所述标注语音是所述目标发音人的语音；

将所述样本中间表示序列输入所述目标语音生成网络，以获得所述目标发音人的样本语音；以及

将所述标注语音作为所述样本语音的期望值，对所述目标语音生成网络进行训练，以获得训练好的所述目标语音生成网络。

7.根据权利要求6所述的基于唇形的语音生成方法，其中，所述获取样本中间表示序列和与所述样本中间表示序列相对应的标注语音包括：

获取包含唇形信息的样本图像序列和所述标注语音，其中，所述标注语音的内容与所述样本图像序列中的唇形信息表达的语音内容一致；

从所述样本图像序列的每个样本图像中分别提取唇部特征，以获得样本唇部特征序列；

将所述样本唇部特征序列输入所述唇部识别网络，以获得所述样本中间表示序列。

8.一种基于唇形的语音生成装置，包括：

获取模块，用于获取包含唇形信息的实际图像序列；

特征提取模块，用于从所述实际图像序列的每个实际图像中分别提取唇部特征，以获得实际唇部特征序列；

第一输入模块，用于将所述实际唇部特征序列输入唇语识别网络，以获得实际中间表示序列，其中，所述实际中间表示序列是音子后验概率序列或音子序列；以及

第二输入模块，用于将所述实际中间表示序列输入目标语音生成网络，以获得目标发音人的目标语音，所述目标语音的内容与所述实际图像序列中的唇形信息表达的语音内容一致。