[发明专利]一种虚拟形象的面部驱动方法、装置、设备和介质

说明书

本公开提供了一种虚拟形象的面部驱动方法、装置、设备和介质，涉及计算机技术领域，尤其涉及人工智能和深度学习技术领域，所述方法包括：获取目标驱动多媒体信息；形成与目标驱动多媒体信息对应的多个驱动源组；生成与每个驱动源组分别对应的声像融合特征集，并确定与每个声像融合特征集分别对应的面部控制参数；分别使用与各驱动源组对应的面部控制参数，对虚拟形象进行面部驱动。本公开实施例的技术方案可以提高虚拟形象面部驱动结果的准确性。

技术领域

本申请涉及计算机技术领域，尤其涉及人工智能和深度学习技术领域，具体涉及一种虚拟形象的面部驱动方法、装置、设备和介质。

背景技术

在人工智能领域，模拟真人原型的虚拟人物已得到了越来越多的应用，利用真人信息产生的虚拟人物的面部驱动技术，在虚拟客服、虚拟主播等领域可以发挥巨大的价值。

相关技术中通常是基于面捕技术去捕捉真人面部特征，然后重定向到虚拟人物面部以达到驱动效果。

相关技术的主要缺陷在于：通常需要使用面部捕捉专用的头戴式设备，并且需要在真人面部标记关键点，有较强的条件限制；此外，相关技术对唇部运动的捕捉效果不佳，尤其是当真人唇部快速闭合时，相关技术无法驱动虚拟人物达到同样的闭合效果。

发明内容

本公开提供了一种虚拟形象的面部驱动方法、装置、设备和介质。

根据本公开的一方面，提供了一种虚拟形象的面部驱动方法，包括：

获取目标驱动多媒体信息，其中，目标驱动多媒体信息中记录有用于对虚拟形象进行面部驱动的真实人物的声音信息和面部表情信息；

形成与目标驱动多媒体信息对应的多个驱动源组，驱动源组包括：图像帧和与图像帧关联的音频片段；

生成与每个驱动源组分别对应的声像融合特征集，并确定与每个声像融合特征集分别对应的面部控制参数；

分别使用与各驱动源组对应的面部控制参数，对虚拟形象进行面部驱动。

根据本公开的另一方面，提供了一种虚拟形象的面部驱动装置，包括：

多媒体信息获取模块，用于获取目标驱动多媒体信息，其中，目标驱动多媒体信息中记录有用于对虚拟形象进行面部驱动的真实人物的声音信息和面部表情信息；

驱动源组形成模块，用于形成与目标驱动多媒体信息对应的多个驱动源组，驱动源组包括：图像帧和与图像帧关联的音频片段；

特征集生成模块，用于生成与每个驱动源组分别对应的声像融合特征集，并确定与每个声像融合特征集分别对应的面部控制参数；

面部驱动模块，用于分别使用与各驱动源组对应的面部控制参数，对虚拟形象进行面部驱动。

根据本公开的另一方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开中任一实施例所述的方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本公开中任一实施例所述的方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本公开中任一实施例所述的方法。

本公开实施例的技术方案可以降低对虚拟形象进行面部驱动时的开发成本，提高虚拟形象面部驱动结果的准确性。