[发明专利]语音口型同步方法、装置、电子设备及存储介质

权利要求书

1.一种语音口型同步方法，其特征在于，包括：

获取基础口型动作图像并提取所述基础口型动作图像的指定特征点；

基于所述指定特征点利用网格变形器调整得到所述基础口型动作模型；

获取所述基础口型动作模型在所述网格变形器中对应的顶点信息；

解析目标语音生成第一口型动画数据；

基于所述基础口型动作模型的顶点信息利用所述第一口型动画数据进行计算，得到与目标语音同步的第二口型动画数据。

2.根据权利要求1所述的语音口型同步方法，其特征在于，所述指定特征点为口型关键槽位点。

3.根据权利要求1所述的语音口型同步方法，其特征在于，所述基于所述指定特征点利用网格变形器调整得到所述基础口型动作模型，包括：

设置网格变形器中的网格权重；

基于所述指定特征点添加网格顶点；

根据所述网格权重调整所述网格顶点得到所述基础口型动作模型。

4.根据权利要求1所述的语音口型同步方法，其特征在于，所述解析目标语音生成第一口型动画数据，包括：

利用机器学习算法分析所述目标语音得到语音分析文件；

解析所述语音分析文件生成第一口型动画数据。

5.根据权利要求4所述的语音口型同步方法，其特征在于，所述语音分析文件为所述目标语音对应的音素文件，所述利用机器学习算法分析所述目标语音得到语音分析文件，包括：

对所述目标语音和样本语音进行特征参数提取；

将所述样本语音的特征参数作为输入层数据和所述特征参数对应的音素作为输出层数据，提供神经网络训练数据，通过迭代训练，得到神经网络模型；

将所述目标语音的特征参数输入到所述神经网络模型中，得到所述目标语音对应的音素文件。

6.根据权利要求4所述的语音口型同步方法，其特征在于，所述第一口型动画数据为口型关键帧的时间序列和权重序列，所述解析所述语音分析文件生成第一口型动画数据，包括：

将所述语音分析文件解析为对应时间线上口型关键帧的权重数据。

7.根据权利要求1所述的语音口型同步方法，其特征在于，所述基于所述基础口型动作模型的顶点信息利用所述第一口型动画数据进行计算，包括：

基于所述基础口型动作模型的顶点信息利用所述第一口型动画数据进行加权计算。

8.根据权利要求1所述的语音口型同步方法，其特征在于，所述得到与所述目标语音同步的第二口型动画数据后，所述方法还包括：

通过线性插值算法生成与所述第二口型动画数据对应的过渡数据；

融合所述第二口型动画数据与所述过渡数据。

9.一种语音口型同步装置，其特征在于，包括：

特征点提取模块，用于获取基础口型动作图像并提取所述基础口型动作图像的指定特征点；

调整模块，用于基于所述指定特征点利用网格变形器调整得到所述基础口型动作模型；

信息获取模块，用于获取所述基础口型动作模型在所述网格变形器中对应的顶点信息；

语音解析模块，用于解析目标语音生成第一口型动画数据；

计算模块，用于基于所述基础口型动作模型的顶点信息利用所述第一口型动画数据进行计算，得到与目标语音同步的第二口型动画数据。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-8任一项所述方法。

11.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-8任一项所述的方法。