[发明专利]一种基于隐空间主成分分析的图像可控生成方法及系统

权利要求书

1.一种基于隐空间主成分分析的图像可控生成方法，其特征在于，包括以下步骤：

S1：在隐空间随机采样隐向量后输入生成对抗网络中生成图像；

S2：对生成图像进行图像转换，得到目标属性变化的图像集合；

S3：通过重构损失最小化并利用梯度反向传播构建图像集合对应的隐向量集合；其中，构建图像集合对应的隐向量集合的步骤包括：

根据所述目标属性变化的图像集合，寻找与经过图像转换的图像近似的隐向量，构建隐向量集合，使重构损失L最小化，寻找隐向量过程的表达公式如下：

式中，表示要寻找的近似隐向量；T(I)表示经过图像转换操作的图像；G(·)为生成器，z为随机采样的隐向量；L(·)表示重构损失；

对所述重构损失函数在频域进行优化；其表达公式如下：

L(I₁,I₂)＝||F(I₁-I₂)F(σ)||²＝||(I₁-I₂)*σ||

式中，σ为高斯核，F(·)表示傅里叶函数，I₁,I₂表示优化损失进行比较的任意两张不同图像；

S4：对隐向量集合进行主成分分析，找到隐向量集合方差变化最大的方向，即为属性变化方向；

S5：将隐向量沿属性变化方向进行不同程度的移动，然后输入所述生成对抗网络中，输出得到目标属性经过控制的图像。

2.根据权利要求1所述的图像可控生成方法，其特征在于，所述S2步骤中，对生成图像进行目标属性的图像转换的操作包括：亮度变化、大小缩放、水平移动和垂直移动。

3.根据权利要求2所述的图像可控生成方法，其特征在于，所述S2步骤中，根据目标图像属性对生成图像进行图像转换操作，且设置有转换程度[-5,5]。

4.根据权利要求1所述的图像可控生成方法，其特征在于，所述生成器为BigGAN生成网络模型。

5.根据权利要求4所述的图像可控生成方法，其特征在于，所述生成器包括1个连接模块、1个全连接层、1个自注意力模块和3个上采样残差块。

6.根据权利要求1所述的图像可控生成方法，其特征在于，所述S4步骤中，采用奇异值分解法对隐向量集合进行主成分分析。

7.根据权利要求1所述的图像可控生成方法，其特征在于，所述S5步骤中，将隐向量沿着属性变化方向移动的表达公式如下：

Z′＝Z+Da

式中，Z为随机采样的隐向量，Z′为移动后的隐向量，a为控制参数，其取值范围为[-5,5]；D表示属性变化方向。

8.一种基于隐空间主成分分析的图像可控生成系统，应用于权利要求1～7任一项所述的图像可控生成方法，其特征在于，包括：

随机采样模块，用于在隐空间随机采样隐向量；

图像转换模块，用于对生成图像进行图像转换，得到目标属性变化的图像集合；

隐向量集合构建模块，用于通过重构损失最小化并利用梯度反向传播构建图像集合对应的隐向量集合；

主成分分析模块，用于对隐向量集合进行主成分分析，找到隐向量集合方差变化最大的方向；

隐向量属性控制模块，用于将隐向量沿属性变化方向进行不同程度的移动，然后输入生成对抗网络模块中；

生成对抗网络模块，用于根据输入的隐向量生成相应的图像。