[发明专利]动画合成方法、装置、电子设备及存储介质

权利要求书

1.一种动画合成方法，包括：

获取待处理的音频流以及拼接语音流，其中，所述音频流以及所述拼接语音流对应相同的文本；所述拼接语音流为对所述文本中字符的语音片段拼接得到；

确定所述音频流中音频帧与所述拼接语音流中语音帧之间的对应关系，其中，在所述对应关系下所述音频流与所述拼接语音流之间的匹配度满足预设匹配度条件；

根据所述字符的语音片段中语音帧对应的音频帧，确定所述音频流中所述字符对应的发音时间段；

根据所述文本中所述字符对应的发音时间段，以及所述字符对应的动画帧序列，生成所述音频流对应的动画视频。

2.根据权利要求1所述的方法，其中，所述确定所述音频流中音频帧与所述拼接语音流中语音帧之间的对应关系，包括：

对所述音频流进行频谱特征提取处理，得到所述音频流对应的音频频谱特征流；

对所述拼接语音流进行频谱特征提取处理，得到所述拼接语音流对应的语音频谱特征流；

根据所述音频频谱特征流以及所述语音频谱特征流，确定所述音频流中音频帧与所述拼接语音流中语音帧之间的对应关系。

3.根据权利要求2所述的方法，其中，所述预设匹配度条件为，所述音频流中音频帧与所述拼接语音流中语音帧之间的至少一种对应关系下所述音频流与所述拼接语音流之间的匹配度的最大值；

所述根据所述音频频谱特征流以及所述语音频谱特征流，确定所述音频流中音频帧与所述拼接语音流中语音帧之间的对应关系，包括：

确定所述音频频谱特征流中音频特征帧与所述语音频谱特征流中语音特征帧之间的匹配度；

以所述音频频谱特征流中音频特征帧为横坐标，以所述语音频谱特征流中语音特征帧为纵坐标，以所述匹配度为坐标点上的坐标值，构建匹配度矩阵网络；

在所述匹配度矩阵网络中选择满足动态时间规整约束条件且匹配度和值最大的路径；

根据所述路径中坐标点的横坐标和纵坐标，确定所述音频频谱特征流中音频特征帧与所述语音频谱特征流中语音特征帧之间的对应关系；

根据所述音频频谱特征流中音频特征帧与所述语音频谱特征流中语音特征帧之间的对应关系，确定所述音频流中音频帧与所述拼接语音流中语音帧之间的对应关系。

4.根据权利要求1所述的方法，其中，所述根据所述字符的语音片段中语音帧对应的音频帧，确定所述音频流中所述字符对应的发音时间段，包括：

根据所述字符的语音片段中语音帧对应的音频帧，确定所述音频流中与所述语音片段对应的音频片段；

将所述音频流中所述音频片段的时间段，确定为所述音频流中所述字符在所述音频流中的发音时间段。

5.根据权利要求1所述的方法，其中，所述根据所述文本中所述字符对应的发音时间段，以及所述字符对应的动画帧序列，生成所述音频流对应的动画视频，包括：

按照所述字符对应的发音时间段的时长，对所述字符对应的动画帧序列进行插值处理，得到具有所述时长的处理后动画帧序列；

根据所述文本中所述字符对应的处理后动画帧序列，生成所述动画视频。

6.根据权利要求5所述的方法，其中，所述根据所述文本中所述字符对应的处理后动画帧序列，生成所述动画视频，包括：

针对所述文本中所述字符对应的处理后动画帧序列中的尾部动画帧，获取第一相邻字符对应的处理后动画帧序列中的头部动画帧；根据所述头部动画帧的动画系数对所述尾部动画帧的动画系数进行调整，得到所述字符对应的调整后动画帧序列；其中，所述第一相邻字符对应的发音时间段位于所述字符对应的发音时间段之后；

和/或，

针对所述文本中所述字符对应的处理后动画帧序列中的头部动画帧，获取第二相邻字符对应的处理后动画帧序列中的尾部动画帧；根据所述尾部动画帧的动画系数对所述头部动画帧的动画系数进行调整，得到所述字符对应的调整后动画帧序列；其中，所述第二相邻字符对应的发音时间段位于所述字符对应的发音时间段之前；

根据所述文本中所述字符对应的调整后动画帧序列，生成所述动画视频。