[发明专利]一种基于人工智能的语音驱动动画方法和装置

权利要求书

1.一种语音驱动动画方法，其特征在于，所述方法包括：

获取待处理语音，所述待处理语音包括多个语音帧；

确定所述待处理语音中语音帧对应的语言学信息，所述语言学信息用于标识所述待处理语音中语音帧所属音素的分布可能性；

根据所述语言学信息确定所述待处理语音中语音帧对应的表情参数；

根据所述表情参数驱动动画形象做出对应所述待处理语音的表情。

2.根据权利要求1所述的方法，其特征在于，目标语音帧为所述待处理语音中的一个语音帧，针对所述目标语音帧，所述根据所述语言学信息确定所述待处理语音中语音帧对应的表情参数，包括：

确定所述目标语音帧所处的语音帧集合，所述语音帧集合包括所述目标语音帧和多个语音帧，所述多个语音帧为所述目标语音帧的上下文语音帧；

根据所述语音帧集合中语音帧分别对应的语言学信息，确定所述目标语音帧对应的表情参数。

3.根据权利要求2所述的方法，其特征在于，所述语音帧集合中语音帧的数量是根据神经网络映射模型确定的，或者，所述语音帧集合中语音帧的数量是根据所述待处理语音的语音切分结果确定。

4.根据权利要求2所述的方法，其特征在于，所述多个语音帧为所述目标语音帧的相邻上下文语音帧，或者，所述多个语音帧为所述目标语音帧的间隔上下文语音帧。

5.根据权利要求2所述的方法，其特征在于，所述根据所述语音帧集合中语音帧分别对应的语言学信息确定所述目标语音帧对应的表情参数，包括：

根据所述语音帧集合中语音帧分别对应的语言学信息，确定所述语音帧集合中语音帧分别对应的待定表情参数；

根据所述目标语音帧在不同语音帧集合中分别确定的待定表情参数，计算所述目标语音帧对应的表情参数。

6.根据权利要求1-5任意一项所述的方法，其特征在于，所述语言学信息包括音素后验概率、瓶颈特征和嵌入特征中任意一种或多种的组合。

7.根据权利要求1-5任意一项所述的方法，其特征在于，所述根据所述语言学信息确定所述待处理语音中语音帧对应的表情参数，包括：

根据所述语言学信息，通过神经网络映射模型确定所述待处理语音中语音帧对应的表情参数；所述神经网络映射模型包括深度神经网络DNN模型、长短期记忆网络LSTM模型或双向长短期记忆网络BLSTM模型。

8.根据权利要求1-5任意一项所述的方法，其特征在于，所述根据所述语言学信息确定所述待处理语音中语音帧对应的表情参数，包括：

根据所述语言学信息和对应的情感向量，确定所述待处理语音中语音帧对应的表情参数。

9.根据权利要求1-5任意一项所述的方法，其特征在于，所述确定所述待处理语音中语音帧对应的语言学信息，包括：

确定所述待处理语音中语音帧对应的声学特征；

通过自动语音识别模型确定所述声学特征对应的语言学信息。

10.根据权利要求9所述的方法，其特征在于，所述自动语音识别模型是根据包括了语音片段和音素对应关系的训练样本训练得到的。

11.一种语音驱动动画装置，其特征在于，所述装置包括获取单元、第一确定单元、第二确定单元和驱动单元：

所述获取单元，用于获取待处理语音，所述待处理语音包括多个语音帧；

所述第一确定单元，用于确定所述待处理语音中语音帧对应的语言学信息，所述语言学信息用于标识所述待处理语音中语音帧所属音素的分布可能性；

所述第二确定单元，用于根据所述语言学信息确定所述待处理语音中语音帧对应的表情参数；

所述驱动单元，用于根据所述表情参数驱动动画形象做出对应所述待处理语音的表情。