[发明专利]用于由原图像生成新的人物图像的方法及装置

说明书

本发明涉及人工智能领域。具体涉及一种用于由原图像生成新的人物图像的方法，该方法至少包括以下步骤：提供包含人物的第一原图像；识别第一原图像中的人物的至少一个姿态关键点；基于姿态关键点从第一原图像截取多个前景图像区块和多个背景图像区块；从前景图像区块和背景图像区块提取第一特征向量；获取包含人物姿态信息的第二特征向量；和由第一特征向量和第二特征向量合成新的人物图像。方法还包括：将包含人物的第一原图像和第二原图像输入给经训练的神经网络模型以合成新的人物图像，所述新的人物图像具有第一原图像中的背景和人物外观以及第二原图像中的人物姿态。还涉及一种用于由原图像生成新的人物图像的装置。

技术领域

本发明涉及一种用于由原图像生成新的人物图像的方法。本发明还涉及一种用于由原图像生成新的人物图像的装置。

背景技术

近年来，机器学习和深度学习逐渐成为计算机视觉和自动驾驶等领域被广泛使用的算法。机器学习模型的性能不光取决于模型构建的质量，而且也会受到训练数据的质量和数量的要求。对训练数据的研究分析与数据增强是近年来的重要的研究课题之一。在现有的数据增强方法中，生成式网络可以根据训练数据集生成新的图像数据，是数据增强方法中唯一可以生成训练集以外的其它新数据的方法。

现有的生成式网络如变分自编码器(Variational Autoencoder，简称VAE)、生成式对抗网络(Generative Adversarial Networks，简称GAN)等尽管可以基于具有有限数量的训练样本的训练数据集生成新样本，但是所生成的新样本的质量往往不足以用做机器学习和深度学习的训练样本，且生成的过程多为随机过程，生成的目标图像样式不可控或可控性极低。

当利用现有的生成式网络生成人物图像时，生成的图像存在不真实、前景与背景脱离等问题，因而无法用作机器学习和深度学习的训练样本，其原因在于现有的生成式网络不具有能控制如人物姿态、前景(即外观)、背景等多种参数的可控模型。

此外，在影音娱乐领域，例如在影视制作和电子游戏制作行业中，存在人物“姿态迁移”的需求，也即将图像A中的人物姿态变换成图像B中的人物的姿态而不改变图像A中的人物的前景和背景。但是，现有的生成式网络难以实现真实且自然的“姿态迁移”。

因此，期待提供一种能实现人物图像中的姿态、前景和背景的可控化并能生成姿态、前景及背景三者良好地融合的人物图像生成方法。

发明内容

本发明的目的通过提供一种用于由原图像生成新的人物图像的方法来实现，所述方法至少包括以下步骤：

i)提供包含人物的第一原图像；

ii)识别第一原图像中的人物的至少一个姿态关键点；

iii)基于所述至少一个姿态关键点从第一原图像截取多个前景图像区块和多个背景图像区块；

iv)从所述多个前景图像区块和所述多个背景图像区块提取至少一个第一特征向量；

v)获取包含人物姿态信息的至少一个第二特征向量；以及

vi)由步骤iv)中提取的所述至少一个第一特征向量和步骤v)中获取的所述至少一个第二特征向量合成新的人物图像。

根据本发明的一可选实施例，所述多个前景图像区块共同覆盖完整人体且每个前景图像区块分别包括不同的人体部分。

根据本发明的一可选实施例，采用以下方式从第一原图像截取所述多个背景图像区块：由所述至少一个姿态关键点确定包含完整人物的多边形轮廓，进而将第一原图像中的位于所述多边形轮廓之外的区域划分成多个背景图像区块。

根据本发明的一可选实施例，通过以下方式执行步骤iv)：

-将所述多个前景图像区块和所述多个背景图像区块全部正规化成相同大小；以及