[发明专利]一种基于隐空间主成分分析的图像可控生成方法及系统

说明书

本发明为克服图像数据集中存在图像缺失和数据分布不均的缺陷，提出一种基于隐空间主成分分析的图像可控生成方法，包括以下步骤：在隐空间随机采样隐向量后输入生成对抗网络中生成图像；对生成图像进行图像转换，得到目标属性变化的图像集合；通过重构损失最小化并利用梯度反向传播构建图像集合对应的隐向量集合；对隐向量集合进行主成分分析，找到隐向量集合方差变化最大的方向，即为属性变化方向；将隐向量沿属性变化方向进行不同程度的移动，然后输入所述生成对抗网络中，输出得到目标属性经过控制的图像。本发明通过在隐空间中对构造的隐向量集合进行主成分分析，进一步学习属性变化的方向，能够有效的控制输出图像的属性变化。

技术领域

本发明涉及人工智能图像处理技术领域，更具体地，涉及一种基于隐空间主成分分析的图像可控生成方法及系统。

背景技术

深度学习技术的广泛应用于图像相关领域，可以更好的处理图像分类、图文检索、数据增强等问题。在处理图像领域相关问题时，深度学习模型通常需要大量的高质量图像数据集作为支撑，若数据集中存在某些图像数据缺失的情况，则通过训练得到的模型会产生过拟合、表达能力差的问题，在数据缺失的情况下通常要先对数据集做数据增强。传统的数据集扩充方法是通过对已有的图像数据进行像素操作，如剪裁、旋转、翻转等等，这些方法虽然可以对数据集进行扩充，但是由于其扩充后的图像是在基于原有的图像上进行改变，并且生成效率低下、生成的图像数据带有很多冗余信息，使得模型训练有太多不确定性，因此对深度学习模型不能带来太大的优化，并不能明显增强网络模型的性能。

如今最为先进的方法是通过生成模型来学习真实数据的分布从而对图像数据进行补充，生成对抗网络作为一种无监督深度生成模型，因其不依赖任何先验假设以及良好的生成效果一经推出就得到了广泛的关注，该模型由一个生成网络和一个判别网络构成，生成网络将一个低维的随机噪声向量映射成高维的图像,判别网络则是判断输入图像来自真实分布的概率，通过对抗训练的方式达到减小生成数据分布和真实数据分布之间JS散度的目的。通过研究者们的不断改进优化，目前生成对抗网络已具备良好的生成能力，能够提供逼真、清晰的生成图像。然而，由于缺乏对生成过程的控制，因此不能根据使用者的需求精确的控制生成图像的变化，无法有效地解决图像数据集中某些图像缺失和数据分布不均的问题。

发明内容

本发明为克服上述现有技术所述的图像数据集中存在图像缺失和数据分布不均的缺陷，提供一种基于隐空间主成分分析的图像可控生成方法，以及一种基于隐空间主成分分析的图像可控生成系统。

为解决上述技术问题，本发明的技术方案如下：

一种基于隐空间主成分分析的图像可控生成方法，包括以下步骤：

S1：在隐空间随机采样隐向量后输入生成对抗网络中生成图像；

S2：对生成图像进行图像转换，得到目标属性变化的图像集合；

S3：通过重构损失最小化并利用梯度反向传播构建图像集合对应的隐向量集合；

S4：对隐向量集合进行主成分分析，找到隐向量集合方差变化最大的方向，即为属性变化方向；

S5：将隐向量沿属性变化方向进行不同程度的移动，然后输入所述生成对抗网络中，输出得到目标属性经过控制的图像。

作为优选方案，S2步骤中，对生成图像进行目标属性的图像转换主要包括：亮度变化、大小缩放、水平移动和垂直移动，即目标属性包括亮度、大小、水平位置、垂直位置等四种属性。

作为优选方案，S2步骤中，根据目标图像属性对生成图像进行图像转换操作，且设置有转换程度[-5,5]。

作为优选方案，S3步骤中，构建图像集合对应的隐向量集合的步骤包括：

根据所述目标属性变化的图像集合，寻找与经过图像转换的图像近似的隐向量，构建隐向量集合，使重构损失L最小化，寻找隐向量过程的表达公式如下：