[发明专利]目标视频的输出方法及装置、存储介质及电子装置

权利要求书

1.一种目标视频的输出方法，其特征在于，包括：

获取第一音频和包含目标人物的第一视频，其中，所述第一音频为根据文本转换成的语音数据；

提取所述第一音频的音频特征和所述第一视频中所述目标人物的人脸特征，其中，所述目标人物的人脸特征为遮盖住嘴部周边区域的局部特征；

将所述第一音频的音频特征与所述目标人物的人脸特征拼接后输入训练好的神经网络模型，其中，所述神经网络模型为使用样本数据训练的生成对抗网络模型，所述样本数据包括样本视频数据，所述样本视频数据中包含多个人物对象，所述神经网络模型包括多个门卷积层和多个膨胀门卷积层；

通过所述神经网络模型输出包含目标虚拟人物的目标视频，其中，所述目标虚拟人物与所述目标人物对应，所述目标虚拟人物的口型与所述第一音频对应。

2.根据权利要求1所述的方法，其特征在于，所述提取所述第一视频中所述目标人物的人脸特征包括：

检测所述第一视频中所述目标人物的人脸图像，并将所述人脸图像进行剪裁；

在剪裁后的所述人脸图像的嘴部周边区域设置遮盖面罩，其中，所述嘴部周边区域包括眼睛以下以及下巴以上的区域；

提取设置遮盖面罩后的所述人脸图像的局部特征，得到所述目标人物的人脸特征。

3.根据权利要求1所述的方法，其特征在于，在将所述第一音频的音频特征与所述目标人物的人脸特征拼接后输入训练好的神经网络模型之前，所述方法还包括：

对所述样本视频数据进行预处理，得到样本音频特征和样本人脸特征；

使用所述样本音频特征和所述样本人脸特征训练所述神经网络模型。

4.根据权利要求3所述的方法，其特征在于，所述对所述样本数据进行预处理包括：

提取所述样本视频数据中的样本音频数据；

提取所述样本音频数据的梅尔声学特征；

过滤掉所述梅尔声学特征中的静音数据，得到过滤后的所述样本音频特征；

根据设置好的滑动窗口提取所述样本视频数据的每一帧图像对应的所述样本音频特征。

5.根据权利要求3所述的方法，其特征在于，所述对所述样本数据进行预处理包括：

对所述样本视频数据的每一帧图像进行人脸检测；

对检测到的人脸图像进行裁剪后，在所述人脸图像的嘴部周边区域设置遮盖面罩，其中，所述嘴部周边区域包括眼睛以下以及下巴以上的区域；

对设置遮盖面罩后的所述人脸图像进行归一化处理，得到所述样本人脸特征。

6.根据权利要求3所述的方法，其特征在于，所述使用所述样本音频特征和所述样本人脸特征训练所述神经网络模型，包括：

将所述样本音频特征和所述样本人脸特征拼接后输入所述神经网络模型的生成器，其中，所述生成器包括n层门卷积层和m层膨胀门卷积层，n和m为大于1的整数，每一层所述门卷积层包括第一子卷积层和第二子卷积层，每一层所述膨胀门卷积层的特征图不变；

通过所述生成器输出预估视频帧图像，其中，所述预估视频帧包括虚拟人物的人脸图像；

通过判别器确定所述预估视频帧图像的嘴部损失和全局损失，根据所述嘴部损失和所述全局损失调整所述神经网络模型的训练参数，其中，所述嘴部损失用于表征所述预估视频帧图像中口型图像与真实值之间的差值，所述全局损失用于表征所述预估视频帧图像的整体图像与真实值之间的差值。

7.根据权利要求6所述的方法，其特征在于，所述通过所述生成器输出预估视频帧，包括：

每一层所述门卷积层的输入分别与所述第一子卷积层和所述第二子卷积层进行卷积，得到第一子卷积值和第二子卷积值；

将所述第一子卷积值通过激活函数激活后，与所述第二子卷积值相乘，得到当前门卷积层的输出。