[发明专利]动画合成方法、装置、电子设备以及存储介质

权利要求书

1.一种动画合成方法，包括：

获取待处理的音频流以及音节序列，其中，所述音频流和所述音节序列对应相同的文本；

以所述音节序列中音节的音素状态为隐马尔科夫模型的状态，以所述音频流对应的频谱特征流为所述隐马尔科夫模型的观测序列，确定所述频谱特征流中频谱特征帧对应的音素状态，其中，在所述频谱特征帧对应的音素状态下所述频谱特征流的观测概率满足预设概率条件；

根据所述音节的音素状态对应的频谱特征帧，确定所述音频流中所述音节对应的发音时间段，包括：

根据所述音节的音素状态对应的频谱特征帧，确定所述频谱特征流中与所述音节对应的频谱特征片段；

将所述频谱特征流中所述频谱特征片段的时间段，确定为所述音频流中所述音节对应的发音时间段；

根据所述音节序列中所述音节对应的发音时间段以及所述音节对应的动画帧序列，生成所述音频流对应的动画视频。

2.根据权利要求1所述的方法，其中，所述以所述音节序列中音节的音素状态为隐马尔科夫模型的状态，以所述音频流对应的频谱特征流为所述隐马尔科夫模型的观测序列，确定所述频谱特征流中频谱特征帧对应的音素状态，包括：

以所述音节序列中音节的音素状态为隐马尔科夫模型的状态，以所述音频流对应的频谱特征流为所述隐马尔科夫模型的观测序列，确定所述频谱特征流的观测概率满足预设概率条件时的模型参数；

根据所述模型参数，确定基于音素状态生成所述频谱特征流中频谱特征帧的概率；

根据基于音素状态生成所述频谱特征流中频谱特征帧的概率，确定所述频谱特征流中频谱特征帧对应的音素状态。

3.根据权利要求2所述的方法，其中，所述根据基于音素状态生成所述频谱特征流中频谱特征帧的概率，确定所述频谱特征流中频谱特征帧对应的音素状态，包括：

以所述频谱特征流中频谱特征帧为横纵标，以所述音素状态为纵坐标，以基于音素状态生成频谱特征帧的概率为坐标点的值，构建概率矩阵网络；

在所述概率矩阵网络中选择满足预设约束条件且概率和值最大的路径；

根据所述路径中坐标点的横坐标和纵坐标，确定所述频谱特征流中频谱特征帧对应的音素状态。

4.根据权利要求1所述的方法，其中，所述根据所述音节序列中所述音节对应的发音时间段以及所述音节对应的动画帧序列，生成所述音频流对应的动画视频，包括：

按照所述音节对应的发音时间段的时长对所述音节对应的动画帧序列进行插值处理，得到具有所述时长的处理后动画帧序列；

根据所述音节序列中所述音节对应的处理后动画帧序列，生成所述动画视频。

5.根据权利要求4所述的方法，其中，所述根据所述音节序列中所述音节对应的处理后动画帧序列，生成所述动画视频，包括：

针对所述音节序列中所述音节对应的处理后动画帧序列中的尾部动画帧，获取第一相邻音节对应的处理后动画帧序列中的头部动画帧；根据所述头部动画帧的动画系数对所述尾部动画帧的动画系数进行调整，得到所述音节对应的调整后动画帧序列；其中，所述第一相邻音节对应的发音时间段位于所述音节的发音时间段之后；

和/或，

针对所述音节序列中所述音节对应的处理后动画帧序列中的头部动画帧，获取第二相邻音节对应的处理后动画帧序列中的尾部动画帧；根据所述尾部动画帧的动画系数对所述头部动画帧的动画系数进行调整，得到所述音节对应的调整后动画帧序列；其中，所述第二相邻音节对应的发音时间段位于所述音节的发音时间段之前；

根据所述音节序列中所述音节对应的调整后动画帧序列，生成所述动画视频。