[发明专利]神经网络的训练方法、生成图像及视频的方法和装置

权利要求书

1.一种由计算机实现的神经网络的训练方法，其中，所述神经网络包括图像生成网络和图像修复网络，所述方法包括：

获取样本源图像和样本参考图像，其中，所述样本源图像中包括样本源对象，所述样本参考图像中包括样本参考对象；

将所述样本源图像和所述样本参考图像输入所述图像生成网络，获得所述图像生成网络输出的预测生成图像，其中，所述预测生成图像中包括所述样本源对象，并且所述预测生成图像中的所述样本源对象的姿态与所述样本参考图像中的所述样本参考对象的姿态一致；

将所述预测生成图像输入所述图像修复网络，获得所述图像修复网络输出的针对所述预测生成图像的预测修复图像；

基于所述样本参考图像和所述预测修复图像来确定损失值；以及

基于所述损失值来调整所述图像修复网络的参数。

2.如权利要求1所述的方法，其中，所述样本源图像和所述样本参考图像为针对同一个对象的视频中的不同图像帧。

3.如权利要求1所述的方法，还包括：构建样本视频集合，所述样本视频集合包括多个样本视频，每一个样本视频对应于一个对象；

其中，所述样本源图像和所述样本参考图像为所述样本视频集合中的针对同一个对象的样本视频中的不同图像帧。

4.如权利要求3所述的方法，其中，所述构建样本视频集合包括：

获取多个原始视频；

对于所述多个原始视频中的每一个原始视频，执行以下操作：

对该原始视频中的每个图像帧进行对象检测；以及

去除该原始视频中的不包括对象的图像帧，以得到样本视频。

5.如权利要求3或4所述的方法，其中，所述构建样本视频集合还包括：将所述样本视频的时长调整为预设时长。

6.如权利要求3-5中任一项所述的方法，其中，所述构建样本视频集合还包括：将所述样本视频的图像帧的尺寸调整为预设尺寸。

7.如权利要求1-6中任一项所述的方法，其中，所述图像生成网络和所述图像修复网络中的至少一个包括生成对抗网络。

8.如权利要求1-7中任一项所述的方法，其中，所述图像生成网络采用样本生成源图像和样本生成参考图像训练得到，所述样本生成源图像和所述样本生成参考图像为针对同一个对象的视频中的不同图像帧。

9.一种利用神经网络生成图像的方法，其中，所述神经网络为根据权利要求1-8中任一项所述的训练方法进行训练来得到，所述神经网络包括图像生成网络和图像修复网络，所述方法包括：

将源图像和参考图像输入所述图像生成网络，获得所述图像生成网络输出的生成图像，其中，所述源图像中包括源对象，所述参考图像中包括参考对象，所述生成图像中包括所述源对象，并且所述生成图像中的所述源对象的姿态与所述参考图像中的所述参考对象的姿态一致；

将所述生成图像输入所述图像修复网络，获得所述图像修复网络输出的针对所述生成图像的修复图像；以及

将所述修复图像作为结果图像。

10.一种利用神经网络生成视频的方法，其中，所述神经网络为根据权利要求1-8中任一项所述的训练方法进行训练来得到，所述神经网络包括图像生成网络和图像修复网络，所述方法包括：

获取源图像和参考视频，其中，所述源图像中包括源对象，所述参考视频包括多个参考图像帧，每个参考图像帧中包括参考对象；

对于所述多个参考图像帧中的每一个参考图像帧，执行以下操作：

将所述源图像和该参考图像帧输入所述图像生成网络，获得所述图像生成网络输出的生成图像，其中，所述生成图像中包括所述源对象，并且所述生成图像中的所述源对象的姿态与所述参考图像帧中的所述参考对象的姿态一致；以及

将所述生成图像输入所述图像修复网络，获得所述图像修复网络输出的针对所述生成图像的修复图像；以及

将所述多个参考图像帧各自对应的多个修复图像进行拼接，生成结果视频。