[发明专利]视频生成方法、装置、介质及电子设备

权利要求书

1.一种视频生成方法，其特征在于，包括：

获取用户提问视频，其中，所述用户提问视频包括用户的人脸图像信息和提问音频；

确定与所述提问音频对应的应答文本信息；

根据所述用户提问视频和所述应答文本信息，生成用于对所述用户提问视频中的用户提问进行应答的应答视频，其中，所述应答视频包括与所述用户交互的虚拟形象和所述应答文本信息对应的音频。

2.根据权利要求1所述的方法，其特征在于，所述根据所述用户提问视频和所述应答文本信息，生成用于对所述用户提问视频中的用户提问进行应答的应答视频，包括：

根据所述用户提问视频和所述应答文本信息，预测所述虚拟形象的脸部区域的特征以及所述应答文本信息的第一声学特征；

根据所述虚拟形象的脸部区域的特征和所述第一声学特征，生成所述应答视频。

3.根据权利要求2所述的方法，其特征在于，所述虚拟形象的脸部区域的特征包括所述虚拟形象的嘴部关键点信息；

所述根据所述虚拟形象的脸部区域的特征和所述第一声学特征，生成所述应答视频，包括：

根据所述虚拟形象的嘴部关键点信息和预先存储的、所述虚拟形象的脸部其他关键点信息，生成目标图像序列；

根据所述第一声学特征，生成所述应答文本信息对应的音频；

将所述目标图像序列和所述应答文本信息对应的音频进行合成，得到所述应答视频。

4.根据权利要求3所述的方法，其特征在于，在所述根据所述虚拟形象的嘴部关键点信息和预先存储的、所述虚拟形象的脸部其他关键点信息，生成目标图像序列的步骤之前，所述根据所述虚拟形象的脸部区域的特征和所述第一声学特征，生成所述应答视频，还包括：

确定所述虚拟形象待表达的目标情感类别；

根据预设的情感类别与关键点信息的对应关系，将与所述目标情感类别对应的关键点信息确定为所述虚拟形象的脸部区域的目标关键点信息，其中，所述目标关键点信息包括眉毛关键点信息和/或眼睛关键点信息；

所述根据所述虚拟形象的嘴部关键点信息和预先存储的、所述虚拟形象的脸部其他关键点信息，生成目标图像序列，包括：

根据所述虚拟形象的嘴部关键点信息、所述目标关键点信息以及所述脸部其他关键点信息中除所述目标关键点信息外的各关键点信息，生成目标图像序列。

5.根据权利要求4所述的方法，其特征在于，所述确定所述虚拟形象待表达的目标情感类别，包括：

根据所述应答文本信息和所述提问音频，确定所述目标情感类别。

6.根据权利要求5所述的方法，其特征在于，所述根据所述应答文本信息和所述提问音频，确定所述目标情感类别，包括：

分别确定所述应答文本信息所对应的第一概率分布、所述提问音频所对应的第二概率分布，其中，所述第一概率分布包括所述应答文本信息所表征的情感属于每一预设情感类别的概率，所述第二概率分布包括所述提问音频所表征的情感属于每一所述预设情感类别的概率；

根据所述第一概率分布和所述第二概率分布，确定所述目标情感类别。

7.根据权利要求2所述的方法，其特征在于，所述根据所述用户提问视频和所述应答文本信息，预测所述虚拟形象的脸部区域的特征以及所述应答文本信息的第一声学特征，包括：

提取所述提问音频的第二声学特征；

根据所述用户的人脸图像信息，确定所述用户的脸部区域的特征；

提取所述应答文本信息的语音特征信息；

根据所述第二声学特征、所述用户的脸部区域的特征以及所述语音特征信息，预测所述虚拟形象的脸部区域的特征以及所述第一声学特征。

8.根据权利要求7所述的方法，其特征在于，所述根据所述第二声学特征、所述用户的脸部区域的特征以及所述语音特征信息，预测所述虚拟形象的脸部区域的特征以及所述第一声学特征，包括：

将所述第二声学特征、所述用户的脸部区域的特征以及所述语音特征信息输入预测模型中，得到所述虚拟形象的脸部区域的特征以及所述第一声学特征。