[发明专利]基于因果流模型的可控汽车图像合成方法

权利要求书

1.基于因果流模型的可控汽车图像合成方法，其特征在于，包括以下步骤：

(1)获取原始汽车图像数据，并写入汽车图像数据集D中；对汽车图像数据集D进行预处理，得到汽车图像数据集D′＝[D₁，D₂，....，D_x]；X为汽车图像样本总数；D_x表示汽车图像样本；

(2)基于汽车图像数据集D′，建立可逆流模型p_θ(x)；x＝D₁，D₂，....，D_x；所述可逆流模型p_θ(x)用于对汽车图像样本x进行非线性变换，将高维的汽车图像样本x映射到潜在空间，得到独立的潜在向量z；

(3)根据可逆流模型p_θ(x)，建立可逆流模型p_θ(x)的网络架构；所述网络架构包括激活归一化层、可逆1×1卷积层和仿射耦合层；可逆流模型p_θ(x)的网络架构分为前向流网络和逆向流网络；

(4)将汽车图像样本x输入到可逆流模型p_θ(x)的前向流网络中，得到潜在变量z′；

(5)建立基于约束的因果网络；根据因果网络建立汽车图像数据集D′特征之间的因果关系，得到因果关系网络

(6)根据因果关系网络设置监督条件c_s，并建立可控因果编码器E_θ；

利用编码器E_θ在监督条件c_s和无监督条件c_u上构建潜在向量z的条件分布p_θ(z)；

利用条件分布p_θ(z)生成多样化潜在向量z的汽车图像样本；

(7)建立监督模块，包括判别器D_iφ、分类器C_φ和解码器D_eφ；所述判别器D_iφ用于判别多样化潜在向量z的真实性；分类器C_φ用于对汽车图像类别进行分类；解码器D_eφ用于重构汽车图像自动学习到的无监督条件；

其中，判别器D_iφ、分类器C_φ和解码器D_eφ的损失利用L2正则化方法实现最小化；

(8)集成可逆流模型、监督模块和因果编码器，构建因果流模型，将潜在变量z′输入到因果流模型的逆向流网络中，输出可控的合成汽车图片y；

输出合成汽车图片y的步骤如下：

1)利用Squeeze函数增加汽车图像样本x的维数；汽车图像样本x原始维数为h×w×c；

2)激活归一化层对汽车图像样本x进行预处理，步骤如下：

2.1)把汽车图像样本x的通道c归一化为0平均值和单位方差的通道数据；

2.2)对汽车图像样本x和汽车图像y进行线性变换，即：

式中，⊙表示矩阵相乘；(i，j)表示张量x和y的空间索引；s和b分别表示通过卷积神经网络学习到的缩放变换参数和平移变换参数；

汽车图像样本x和汽车图像y的逆变换如下所示：

其中，汽车图像样本x和汽车图像y的雅可比矩阵对对数行列式为h*w*∑log|s|；

3)可逆1×1卷积层利用c×1权重矩阵对汽车图像样本x的通道c进行加权，叠加c个权重矩阵，混合可逆流模型通道，步骤如下：

3.1)建立汽车图像样本x和汽车图像y的变换关系式，即：

式中，W为c×c权重矩阵；

汽车图像样本x和汽车图像y逆变换如下所示：

3.2)计算权重矩阵W的对数行列式即：

3.3)对权重矩阵W进行LU分解，降低对数行列式计算的复杂度；分解后的权重矩阵W如下所示：

W＝PL(U+diag(s″))    (6)

式中，P是计算后的通道排列矩阵；L为下三角矩阵；U为上三角矩阵，其对角线元素为0；s″为对角矩阵，对角元素为权重矩阵W上三角矩阵的对角元素；log|det(W)|＝sum(log|s″|)；

4)建立仿射耦合层，步骤如下：

4.1)运用函数split()沿着通道维度将输入的汽车图像张量x切分成两部分，分别记为汽车图像x_a和汽车图像x_b，即：

x_a，x_b＝split(x)   (7)

4.2)利用神经网络(log s，t)＝NN(x_b)对汽车图像x_a进行线性组合，得到汽车图像y_a＝s’⊙x_a+t；其中，参数s′＝exp(log s)；函数NN()是非线性映射函数；参数s′和参数t不参与可逆变换；

4.3)对汽车图像x_b进行恒等变换，得到汽车图像y_b＝x_b；

4.4)利用函数concat()将汽车图像y_a和汽车图像y_b连接成一个输出的汽车图像张量y，即：

y＝concat(y_a，y_b)    (8)

其中，仿射耦合层的逆变换如公式：

y_a，y_b＝split(y)    (9)

(log s，t)＝NN(y_b)    (10)

s′＝exp(log s)    (11)

x_a＝(y_a-t)/s′    (12)

x_b＝x_b    (13)

x＝concat(x_a，x_b)    (14)

4.5)利用公式(10)对汽车图像y_a进行线性组合，求得对数行列式sum(log|S|)，并根据对数行列式sum(log|S|)计算得到概率分布函数p_θ(x)。