[发明专利]用于生成视频的方法、装置、设备和介质

权利要求书

1.一种用于生成视频的方法，包括：

获取目标用户的用户交互信息；

基于所述用户交互信息，生成针对所述用户交互信息的反馈信息；

基于所述反馈信息，生成用于指示预设人员执行与所述反馈信息相对应的动作的视频。

2.根据权利要求1所述的方法，其中，所述反馈信息为文本信息；以及

所述基于所述反馈信息，生成用于指示预设人员执行与所述反馈信息相对应的动作的视频，包括：

确定与所述文本信息相对应的音素信息和语调信息；

基于所述音素信息和所述语调信息，生成用于指示预设人员执行与所述反馈信息相对应的动作的视频。

3.根据权利要求2所述的方法，其中，所述基于所述音素信息和所述语调信息，生成用于指示预设人员执行与所述反馈信息相对应的动作的视频，包括：

基于所述音素信息，确定待生成的语音音频的音频帧数量，以及待生成的图像序列的图像数量，其中，所述音频帧数量与所述图像数量相等；

基于所述音素信息和所述语调信息，生成语音音频和图像序列，其中，所述语音音频包括的音频帧的数量为所述音频帧数量，所述图像序列中的图像的数量为所述图像数量，所述图像序列指示预设人员执行与所述语音音频相对应的动作；

将所述语音音频和所述图像序列进行合成，得到用于指示所述预设人员执行与所述语音音频相对应的动作的视频。

4.根据权利要求3所述的方法，其中，所述语音音频中的音频帧与所述图像序列中的图像一一对应，所述图像序列中的图像的口型表征：所述预设人员发出与该图像相对应的音频帧指示的语音。

5.根据权利要求1-4之一所述的方法，其中，所述用户交互信息包括用户视频；以及

所述基于所述用户交互信息，生成针对所述用户交互信息的反馈信息，包括：

响应于所述用户视频中的语音音频满足预设语调调整条件，生成用于指示用户调整音频的语调的反馈信息；

响应于所述用户视频中的图像中的口型符合预设口型调整条件，生成用于指示用户调整口型的反馈信息。

6.根据权利要求1-4之一所述的方法，其中，所述基于所述反馈信息，生成用于指示预设人员执行与所述反馈信息相对应的动作的视频，包括：

响应于所述用户交互信息包括语音音频，从预先确定的情感类别集合中，确定所述语音音频所属的情感类别；

基于所述反馈信息和所确定的情感类别，生成用于指示预设人员执行目标动作的视频，其中，所述目标动作与所述反馈信息以及所确定的情感类别指示的情感相对应。

7.根据权利要求1-4之一所述的方法，其中，用户交互信息包括外语语音音频，所述预设人员为外教；以及

所述基于所述反馈信息，生成用于指示预设人员执行与所述反馈信息相对应的动作的视频，包括：

响应于所述反馈信息为文本信息，将所述文本信息输入至针对所述外教预先训练的生成模型，生成与所述文本信息相对应的语音音频，以及用于指示所述外教发出所生成的语音音频的图像序列，其中，所述生成模型用于生成与所输入的文本信息相对应的语音音频，以及用于指示所述外教发出与所输入的文本信息相对应的语音音频的图像序列；

基于所生成的图像序列和与所述文本信息相对应的语音音频，生成用于指示所述外教发出与所述文本信息相对应的语音音频的视频。

8.根据权利要求7所述的方法，其中，所述生成模型通过如下步骤训练得到：

获取目标视频，其中，所述目标视频为对所述外教进行图像拍摄和语音录制而获得的视频，所述目标视频的播放时长大于或等于预设阈值；

从所述目标视频中提取相匹配的图像和音频帧，得到训练样本集合，其中，所述训练样本集合中的训练样本包括音频帧、与音频帧相匹配的图像，以及与音频帧相对应的文本信息；

采用机器学习算法，将所述训练样本集合中的训练样本包括的文本信息作为输入数据，将训练样本包括的音频帧和图像作为期望输出数据，训练得到生成模型。