[发明专利]动画合成方法、装置、电子设备及存储介质

说明书

本公开提供了动画合成方法、装置、电子设备及存储介质，自然语言处理、语音技术、计算机视觉和虚拟/增强现实技术领域。具体实现方案为：获取待处理的音频流以及拼接语音流；拼接语音流为对文本中字符的语音片段拼接得到；确定音频流中音频帧与拼接语音流中语音帧之间的对应关系；根据字符的语音片段中语音帧对应的音频帧，确定音频流中字符对应的发音时间段；根据文本中字符对应的发音时间段，以及字符对应的动画帧序列，生成音频流对应的动画视频。由此，能够实现音频流与拼接语音流的对齐，可使动画视频和音频流具有很强的一致性，不存在帧间抖动问题，进而提高了动画视频的真实性和泛化能力。

技术领域

本公开人工智能技术领域，尤其涉及自然语言处理、语音技术、计算机视觉和虚拟/增强现实技术领域，具体涉及动画合成方法、装置、电子设备及存储介质。

背景技术

目前，随着计算机动画技术的不断进步，音频驱动的虚拟形象人脸表情动画得到了发展，其中，虚拟形象人脸表情动画，即输入音频生成与音频流相符的虚拟主播人脸表情动画。

发明内容

本公开提供了一种用于动画合成方法、装置、电子设备及存储介质。

根据本公开的一方面，提供了一种动画合成方法，包括：获取待处理的音频流以及拼接语音流，其中，所述音频流以及所述拼接语音流对应相同的文本；所述拼接语音流为对所述文本中字符的语音片段拼接得到；确定所述音频流中音频帧与所述拼接语音流中语音帧之间的对应关系，其中，在所述对应关系下所述音频流与所述拼接语音流之间的匹配度满足预设匹配度条件；根据所述字符的语音片段中语音帧对应的音频帧，确定所述音频流中所述字符对应的发音时间段；根据所述文本中字符对应的发音时间段，以及所述字符对应的动画帧序列，生成所述音频流对应的动画视频。

根据本公开的另一方面，提供了一种一种动画合成装置，包括：获取模块，用于获取待处理的音频流以及拼接语音流，其中，所述音频流以及所述拼接语音流对应相同的文本；所述拼接语音流为对所述文本中字符的语音片段拼接得到；第一确定模块，用于确定所述音频流中音频帧与所述拼接语音流中语音帧之间的对应关系，其中，在所述对应关系下所述音频流与所述拼接语音流之间的匹配度满足预设匹配度条件；第二确定模块，用于根据所述字符的语音片段中语音帧对应的音频帧，确定所述音频流中所述字符对应的发音时间段；生成模块，用于根据所述文本中字符对应的发音时间段，以及所述字符对应的动画帧序列，生成所述音频流对应的动画视频。

根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开第一方面实施例所述的方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行本公开第一方面实施例所述的方法。

根据本公开的另一方面，提供了一种计算机程序产品，所述计算机程序在被处理器执行时实现本公开第一方面实施例所述的方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开第一实施例的示意图；

图2是根据本公开第二实施例的示意图；

图3是根据本公开第三实施例的示意图；

图4是根据本公开第四实施例的示意图；

图5是根据本公开第五实施例的示意图；

图6是根据本公开实施例的动画合成的示意图；