[发明专利]神经网络的训练方法、生成图像及视频的方法和装置

说明书

本公开提供了一种神经网络的训练方法、生成图像及视频的方法和装置，涉及图像及视频处理技术领域，尤其涉及人工智能技术领域。该方案包括：获取样本源图像和样本参考图像，其中，样本源图像中包括样本源对象，样本参考图像中包括样本参考对象；将样本源图像和样本参考图像输入图像生成网络，获得图像生成网络输出的预测生成图像，其中，预测生成图像中包括样本源对象，并且预测生成图像中的样本源对象的姿态与样本参考图像中的样本参考对象的姿态一致；将预测生成图像输入图像修复网络，获得图像修复网络输出的针对预测生成图像的预测修复图像；基于样本参考图像和预测修复图像来确定损失值；以及基于损失值来调整图像修复网络的参数。

技术领域

本公开涉及图像及视频处理技术领域，尤其涉及人工智能技术领域，具体涉及一种神经网络的训练方法及装置、利用神经网络生成图像的方法及装置、利用神经网络生成视频的方法及装置、电子设备、存储介质和计算机程序产品。

背景技术

随着短视频应用(app)的流行，越来越多的用户开始使用手机等移动终端来拍摄并分享短视频。在一些情况中，当用户看到有趣的短视频时，可能会进行模仿拍摄，即模仿该视频中的人物的姿态和动作，来拍摄出自己的视频。但对于大多数用户来说，模仿拍摄的难度较大，通常难以复现原始视频中的姿态或动作。

在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。

发明内容

本公开提供了一种神经网络的训练方法及装置、利用神经网络生成图像的方法及装置、利用神经网络生成视频的方法及装置、电子设备、存储介质和计算机程序产品。

根据本公开的一方面，提供了一种由计算机实现的神经网络的训练方法，该神经网络包括图像生成网络和图像修复网络，该方法包括：获取样本源图像和样本参考图像，其中，所述样本源图像中包括样本源对象，所述样本参考图像中包括样本参考对象；将所述样本源图像和所述样本参考图像输入所述图像生成网络，获得所述图像生成网络输出的预测生成图像，其中，所述预测生成图像中包括所述样本源对象，并且所述预测生成图像中的所述样本源对象的姿态与所述样本参考图像中的所述样本参考对象的姿态一致；将所述预测生成图像输入所述图像修复网络，获得所述图像修复网络输出的针对所述预测生成图像的预测修复图像；基于所述样本参考图像和所述预测修复图像来确定损失值；以及基于所述损失值来调整所述图像修复网络的参数。

根据本公开的另一方面，还提供一种利用神经网络生成图像的方法，该神经网络为根据上述训练方法进行训练来得到，并包括图像生成网络和图像修复网络，该方法包括：将源图像和参考图像输入所述图像生成网络，获得所述图像生成网络输出的生成图像，其中，所述源图像中包括源对象，所述参考图像中包括参考对象，所述生成图像中包括所述源对象，并且所述生成图像中的所述源对象的姿态与所述参考图像中的所述参考对象的姿态一致；将所述生成图像输入所述图像修复网络，获得所述图像修复网络输出的针对所述生成图像的修复图像；以及将所述修复图像作为结果图像。

根据本公开的另一方面，还提供一种利用神经网络生成视频的方法，该神经网络为根据上述训练方法进行训练来得到，并包括图像生成网络和图像修复网络，该方法包括：获取源图像和参考视频，其中，所述源图像中包括源对象，所述参考视频包括多个参考图像帧，每个参考图像帧中包括参考对象；对于所述多个参考图像帧中的每一个参考图像帧，执行以下操作：将所述源图像和该参考图像帧输入所述图像生成网络，获得所述图像生成网络输出的生成图像，其中，所述生成图像中包括所述源对象，并且所述生成图像中的所述源对象的姿态与所述参考图像帧中的所述参考对象的姿态一致；以及将所述生成图像输入所述图像修复网络，获得所述图像修复网络输出的针对所述生成图像的修复图像；以及将所述多个参考图像帧各自对应的多个修复图像进行拼接，生成结果视频。