[发明专利]一种三维脸部动作生成方法和系统

说明书

本说明书涉及一种三维脸部表情生成方法和系统，方法包括：获取音频信号中的至少一帧信号对应的至少一个音频特征；获取所述至少一帧信号对应的至少一个音素特征；通过三维脸部表情生成模型处理所述至少一个音频特征和所述至少一个音素特征，得到所述至少一帧信号中的每一帧信号对应的脸部表情系数；基于所述至少一帧信号中的各帧信号对应的所述脸部表情系数、预设的脸部表情基底和预设脸部形状，得到所述至少一帧信号对应的至少一个三维脸部动作图像。

技术领域

本申请涉及动画技术领域，尤其涉及一种三维脸部动作生成方法和系统。

背景技术

随着动画技术的发展，三维(也可以称为3D)脸部动画制作在影视、游戏、新闻媒体、互联网金融等领域得到广泛应用。在一些应用场景中，可以基于语音生成三维脸部动作的动画，例如基于人的语音生成游戏角色、虚拟主播、虚拟家教、虚拟客服等虚拟角色的三维脸部动作动画，以满足影视、游戏、新闻媒体、互联网金融等领域的虚拟角色需求。

因此，亟需三维脸部动作生成方法和系统来实现三维脸部动作动画的生成。

发明内容

本说明书实施例之一提供一种三维脸部表情生成模型的训练方法，所述方法包括：获取音频信号样本中的帧信号样本对应的音频特征样本；获取所述帧信号样本对应的音素特征样本；通过所述三维脸部表情生成模型处理所述音频特征样本和所述音素特征样本，得到所述帧信号样本对应的脸部表情系数预测值；基于所述脸部表情系数预测值与所述帧信号样本对应的脸部表情系数标签的差异，调整所述三维脸部表情生成模型的参数。

本说明书实施例之一提供一种三维脸部动作生成方法，所述方法包括：获取音频信号中的至少一帧信号对应的至少一个音频特征；获取所述至少一帧信号对应的至少一个音素特征；通过三维脸部表情生成模型处理所述至少一个音频特征和所述至少一个音素特征，得到所述至少一帧信号中的每一帧信号对应的脸部表情系数；基于所述至少一帧信号中的各帧信号对应的所述脸部表情系数、预设的脸部表情基底和预设脸部形状，得到所述至少一帧信号对应的至少一个三维脸部动作图像。

本说明书实施例之一提供一种三维脸部动作生成系统，所述系统包括：第一获取模块，用于获取音频信号中的至少一帧信号对应的至少一个音频特征；第二获取模块，用于获取所述至少一帧信号对应的至少一个音素特征；表情系数生成模块，用于通过三维脸部表情生成模型处理所述至少一帧信号对应的所述至少一个音频特征和所述至少一个音素特征，得到所述至少一帧信号中的每一帧信号对应的脸部表情系数；三维脸部动作生成模块，用于基于所述至少一帧信号中的各帧信号对应的所述脸部表情系数、预设的脸部表情基底和预设脸部形状，得到所述至少一帧信号对应的至少一个三维脸部动作图像。

本说明书实施例之一提供一种三维脸部动作生成装置，所述装置包括至少一个处理器和至少一个存储设备，所述存储设备用于存储指令，当所述至少一个处理器执行所述指令时，实现所述三维脸部动作生成方法。

附图说明

本说明书将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：

图1是根据本说明书一些实施例所示的三维脸部动作生成系统的应用场景示意图；

图2是根据本说明书一些实施例所示的三维脸部动作生成系统的模块图；

图3是根据本说明书一些实施例所示的三维脸部动作生成方法的示例性流程图；

图4是根据本说明书一些实施例所示的三维脸部表情生成模型的示例性示意图；

图5是根据本说明书一些实施例所示的三维脸部表情生成模型的训练方法的示例性流程图；

图6是根据本说明书一些实施例所示的三维脸部表情生成模型的训练架构的示例性示意图。

具体实施方式