[发明专利]一种基于生成对抗网络的人物视频生成方法

权利要求书

1.一种基于生成对抗网络的人物视频生成方法，其特征在于所述方法包括如下步骤：

步骤一、收集多张具有同一外观不同姿态的原图像和一张目标图像；

步骤二、对步骤一收集到的原图像和目标图像，采用人体姿态估计器估计出基于关键点的原图像姿态和目标姿态，利用多尺度特征提取模块提取目标姿态和多张原图像之间的多尺度特征；

步骤三、将步骤二得到的多尺度特征作为全局-局部模块的输入，首先使用全局模块建立目标姿态特征与原图像特征之间的全局对应关系，随后使用局部模块对全局模块的输出结果进行修正；针对不同尺度特征图采用多个全局-局部模块从多个尺度对目标姿态表示和原图像之间的流场进行修正；

步骤四、挑选一张原图像采用池化操作将其重构到特定的尺寸，并使用步骤三得到的修正后的流场进行形变操作，得到最终的特征图；

步骤五、采用纹理渲染器将步骤四得到的特征图从特征空间映射到图像空间，得到最终的生成图像；

网络对抗训练过程如下：

步骤(a)将训练集中的图像分为原图像和目标图像，根据原图像和目标图像获取基于关键点的姿态表示；

步骤(b)对训练数据进行数据增强，并对增强后的数据进行归一化处理；

步骤(c)训练开始时首先初始化网络中各层卷积层的参数，之后将批度大小的训练数据作为生成器的输入；

步骤(d)将步骤五获得的生成图像与目标图像一起送入判别器，作为判别器的训练数据进行处理；

步骤(e)将判别器的输出结果用于计算判别器对抗损失函数与生成器的对抗损失函数以及特征损失函数，同时根据生成图像与真实图像计算生成器的感知损失函数与重构损失函数，并进行迭代优化；

步骤(f)达到最大训练迭代次数后，保存模型，完成整个训练过程。

2.根据权利要求1所述的基于生成对抗网络的人物视频生成方法，其特征在于所述步骤(b)中，采用随机翻转和随机裁剪的方法对训练数据进行数据增强。

3.根据权利要求1所述的基于生成对抗网络的人物视频生成方法，其特征在于所述步骤(c)中，采用Kaiming初始化方法初始化网络中各层卷积层的参数。

4.根据权利要求1所述的基于生成对抗网络的人物视频生成方法，其特征在于所述步骤(d)中，采用双判别器结构进行训练，所述双判别器包括空间一致性判别器和时序一致性判别器。

5.根据权利要求1所述的基于生成对抗网络的人物视频生成方法，其特征在于所述步骤(d)中，采用循环一致性训练方式进行训练，即模型一次性处理N张目标姿态，并且输出对应的N张生成图像，并将最后一帧生成图像作为其中一张输入原图像。

6.根据权利要求1所述的基于生成对抗网络的人物视频生成方法，其特征在于所述步骤(e)中，使用Adams优化器迭代优化网络参数。

7.根据权利要求1所述的基于生成对抗网络的人物视频生成方法，其特征在于所述步骤(e)中，对抗损失函数定义为：

特征损失函数定义为：

感知损失函数定义为：

重构损失函数定义为：

其中，D_i表示判别器中的第i+1层特征提取器，i＝0,1,2，α_i表示每一层特征损失函数的权重，φ_l表示预训练VGG19网络中的第l层，I_g表示生成图像，I_t表示真实图像。