[发明专利]一种基于生成对抗网络的人物视频生成方法

说明书

本发明公开了一种基于生成对抗网络的人物视频生成方法，所述方法包括如下步骤：一、收集原图像和目标图像；二、对收集到的原图像和目标图像，利用多尺度特征提取模块提取目标姿态和多张原图像之间的多尺度特征；三、将多尺度特征作为全局‑局部模块的输入，使用全局模块建立目标姿态特征与原图像特征之间的全局对应关系，随后使用局部模块对全局模块的输出结果进行修正；四、挑选一张原图像采用池化操作将其重构到特定的尺寸，并使用修正后的流场进行形变操作，得到最终的特征图；五、采用纹理渲染器将特征图从特征空间映射到图像空间，得到最终的生成图像。该方法能够实现保留原图像服装纹理不变的同时按照目标姿态进行视频生成。

技术领域

本发明属于计算机视觉和图像处理技术领域，涉及一种基于生成对抗网络的人物视频生成方法。

背景技术

生成模型是计算机视觉领域的核心，近些年，GAN和VAE等方法在各种基于图像的生成任务中取得了令人瞩目的成果，与之相反基于视频的生成任务则进展较小，尤其是生成包含人物图像的视频(也可称为动画生成)，因为除了需要确保生成每一帧图像都是真实的，还需要保证生成的视频帧的时序一致性。在实际的应用中，静态图像的生成往往不能够满足需求，与之相反，具有动态属性的视频能够提供更好的用户交互体验。人物视频生成不仅仅需要保证人物图像纹理不变，还需要保证生成视频帧之间的连续性。

人物视频生成具有广泛的应用场景，例如电影特效制作、时装造型设计、虚拟试衣以及数据集增强，无论是在学术界还是工业界都具有重要的研究意义。

发明内容

本发明的目的是提供一种基于生成对抗网络的人物视频生成方法，该方法能够实现人物视频的生成，即给定原图像和连续的目标姿态表示，能够实现保留原图像服装纹理不变的同时按照目标姿态进行视频生成。

本发明的目的是通过以下技术方案实现的：

一种基于生成对抗网络的人物视频生成方法，包括如下步骤：

步骤一、收集多张具有同一外观不同姿态的原图像和一张目标图像；

步骤二、对步骤一收集到的原图像和目标图像，采用人体姿态估计器估计出基于关键点的原图像姿态和目标姿态，利用多尺度特征提取模块提取目标姿态和多张原图像之间的多尺度特征；

步骤三、将步骤二得到的多尺度特征作为全局-局部模块的输入，首先使用全局模块建立目标姿态特征与原图像特征之间的全局对应关系，随后使用局部模块对全局模块的输出结果进行修正；

步骤四、挑选一张原图像采用池化操作将其重构到特定的尺寸，并使用步骤三得到的修正后的流场进行形变操作，得到最终的特征图；

步骤五、采用纹理渲染器将步骤四得到的特征图从特征空间映射到图像空间，得到最终的生成图像。

网络对抗训练过程如下：

步骤(a)将训练集中的图像分为原图像和目标图像，根据原图像和目标图像获取基于关键点的姿态表示；

步骤(b)对训练数据进行数据增强，并对增强后的数据进行归一化处理；

步骤(c)训练开始时首先初始化网络中各层卷积层的参数，之后将批度大小的训练数据作为生成器的输入；

步骤(d)将步骤(6)获得的生成图像与目标图像一起送入判别器，作为判别器的训练数据进行处理；

步骤(e)将判别器的输出结果用于计算判别器对抗损失函数与生成器的对抗损失函数以及特征损失函数，同时根据生成图像与真实图像计算生成器的感知损失函数与重构损失函数，并进行迭代优化；

步骤(f)达到最大训练迭代次数后，保存模型，完成整个训练过程。

具体地，所述步骤一中，需准备多张具有相同外观但是不同姿态的原图像。