[发明专利]面部动画的合成方法、装置、存储介质、处理器及终端

说明书

本发明公开了一种面部动画的合成方法、装置、存储介质、处理器及终端。该方法包括：对音频文件进行语音解析，得到音素时间戳文件和表情时间戳文件，其中，音素时间戳文件包括：由音频文件转换得到的每个文字对应的每个音素的时间戳和持续时长，每个文字对应至少一个音素；获取与音素时间戳文件对应的口型序列，其中，口型序列用于描述音素时间戳文件中的每个音素对应的口型信息；获取与表情时间戳文件对应的表情序列，其中，表情序列用于描述表情时间戳文件对应的表情信息；将口型序列和表情序列合成为面部动画。本发明解决了相关技术中所提供的语音解析方式易造成后续合成的语音动画存在较大误差，影响用户体验的技术问题。

技术领域

本发明涉及计算机领域，具体而言，涉及一种面部动画的合成方法、装置、存储介质、处理器及终端。

背景技术

人的面部信息包括：表情和口型。在通常情况下，表情与口型的变化具有独立性，其中，口型包含有较多的高频信息，而表情则更倾向于低频表达。例如，当普通人在阐述一句话时，口型会随着发音的变化而频繁变化。相对而言，表情变化则较为缓慢，甚至缺少明显变化。总体上，面部信息可以看成是表情与口型这两个相对独立部分的融合。

针对表情与口型的融合，相关技术中所提供的技术方案主要分为语音解析、表情与口型动画合成、语音驱动面部动画。对于语音解析而言，主要是面向中英文语音进行解析。对于表情与口型动画合成，主要是通过动作捕捉或者美术人员直接制作骨骼动作等方式实现。

关于中文语音音素解析，相关技术所提供的其中一种解决方案只能输入中文语音并输出中文文本，而无法准确地获取中文文本中每个音素的时间戳及其持续时长。相关技术所提供的另外一种解决方案(例如：IBM的Waston服务)虽然可以对中文语音进行处理并获得每个分词的时间戳及其持续时长，但是，Waston却无法准确地定位到每个文字的时间戳和持续时长，从而对后续生成的语音动画造成极大的误差。关于表情动画合成与语音驱动面部动画，相关技术中所提供的的动作捕捉方式成本较高、灵活性差、生成的数据量大，因而难以应用在移动端。另外，关于美术人员制作的表情动画合成以及语音驱动面部动画，同样存在效率低、灵活性差，反复修改的成本过高等问题。表1为相关技术中所提供的多种语音解析技术的现状说明，如表1所示：

表1

表2为相关技术中所提供的多种面部动画合成技术的现状说明，如表2所示：

表2

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明至少部分实施例提供了一种面部动画的合成方法、装置、存储介质、处理器及终端，以至少解决相关技术中所提供的语音解析方式易造成后续合成的语音动画存在较大误差，影响用户体验的技术问题。

根据本发明其中一实施例，提供了一种面部动画的合成方法，包括：

对音频文件进行语音解析，得到音素时间戳文件和表情时间戳文件，其中，音素时间戳文件包括：由音频文件转换得到的每个文字对应的每个音素的时间戳和持续时长，每个文字对应至少一个音素；获取与音素时间戳文件对应的口型序列，其中，口型序列用于描述音素时间戳文件中的每个音素对应的口型信息；获取与表情时间戳文件对应的表情序列，其中，表情序列用于描述表情时间戳文件对应的表情信息；将口型序列和表情序列合成为面部动画。

可选地，在将口型序列和表情序列合成为面部动画之后，还包括：将面部动画与音频文件进行同步播放。

可选地，对音频文件进行语音解析，得到音素时间戳文件包括：将音频文件转换为文本序列；根据文本序列中每个文字的中文拼音将文本序列转换为音素序列，其中，每个文字对应至少一个音素；对音素序列进行时序建模，得到音素时间戳文件。