[发明专利]虚拟形象口型驱动模型的训练及其驱动方法、装置和设备

说明书

本申请涉及网络直播及人工智能技术领域，提供一种虚拟形象口型驱动模型的训练及其驱动方法、装置、设备和介质。本申请能够准确可靠地驱动虚拟形象口型。包括：根据纯音乐音频样本和音画同步视频样本中纯人声音频得到混合音频样本，根据音画同步视频样本中纯人声音频对应的视频图像获取口型驱动系数；将混合音频样本输入虚拟形象口型驱动模型，由人声信息提取网络提取混合音频样本中人声部分信息并提供至口型系数预测网络，由该网络得到预测口型驱动系数；根据人声部分信息得到预测纯人声音频，根据该预测纯人声音频与纯人声音频得到第一损失，根据预测口型驱动系数与口型驱动系数得到第二损失，根据第一、第二损失训练虚拟形象口型驱动模型。

技术领域

本申请涉及网络直播及人工智能技术领域，特别是涉及一种虚拟形象口型驱动模型的训练方法、虚拟形象的驱动方法、装置、电子设备和计算机可读存储介质。

背景技术

随着网络直播技术的发展，虚拟形象直播在游戏、电商等业务领域已经有了广泛的应用。

在目前的技术中，虚拟形象的口型驱动主要来自人脸表情捕捉设备，其通过摄像头采集主播的人脸图像并据此计算出口型驱动系数，但这种方案需依赖于良好的光照环境和采集角度，其难以准确可靠地驱动虚拟形象的口型，而目前另外一种基于声音的虚拟形象口型驱动技术中，通过分析语音中声韵母或音标的包络幅值，通过对应的预设时序数据进行口型驱动，但这种方案在实际场景中需要针对音标进行时序数据的预设，而通过有限的音标对应的时序数据同样难以准确可靠地驱动虚拟形象的口型。

发明内容

基于此，有必要针对上述技术问题，提供一种虚拟形象口型驱动模型的训练方法、虚拟形象的驱动方法、装置、电子设备和计算机可读存储介质。

第一方面，本申请提供了一种虚拟形象口型驱动模型的训练方法。所述方法包括：

获取纯音乐音频样本，获取包含纯人声的音画同步视频样本；

根据所述音画同步视频样本中的纯人声音频和所述纯音乐音频样本，合成得到混合音频样本，以及根据所述音画同步视频样本中的与所述纯人声音频对应的视频图像，获取所述纯人声音频对应的口型驱动系数；

将所述混合音频样本输入待训练的虚拟形象口型驱动模型，由所述虚拟形象口型驱动模型中的人声信息提取网络根据所述混合音频样本提取所述混合音频样本中的人声部分信息，并提供所述人声部分信息至所述虚拟形象口型驱动模型中的口型系数预测网络，由所述口型系数预测网络根据所述人声部分信息得到对应的预测口型驱动系数；

根据所述人声信息提取网络提取的人声部分信息得到对应的预测纯人声音频，根据所述预测纯人声音频与所述纯人声音频的一致性获取第一模型损失；

根据所述预测口型驱动系数与所述口型驱动系数的一致性，获取第二模型损失；

根据所述第一模型损失和第二模型损失，训练所述待训练的虚拟形象口型驱动模型。

第二方面，本申请提供了一种虚拟形象的驱动方法。所述方法包括：

采集主播的音频；将所述音频输入至经训练的虚拟形象口型驱动模型，得到所述虚拟形象口型驱动模型输出的预测口型驱动系数；其中，所述虚拟形象口型驱动模型根据如上所述的方法训练得到；根据所述预测口型驱动系数，驱动所述主播的虚拟形象的口型。

第三方面，本申请提供了一种虚拟形象口型驱动模型的训练装置。所述装置包括：

样本获取模块，用于获取纯音乐音频样本，获取包含纯人声的音画同步视频样本；

样本处理模块，用于根据所述音画同步视频样本中的纯人声音频和所述纯音乐音频样本，合成得到混合音频样本，以及根据所述音画同步视频样本中的与所述纯人声音频对应的视频图像，获取所述纯人声音频对应的口型驱动系数；