[发明专利]一种跨域变分对抗自编码方法

权利要求书

1.一种跨域变分对抗自编码方法，其特征在于，包括以下步骤：

1)利用编码器解耦跨域数据的内容编码和风格编码

通过编码器分解出图像的内容编码和风格编码，求出对应的后验分布；对于内容编码，引入对抗自编码器AAE；对于风格编码，引入变分自编码器VAE；具体如下：

首先，通过编码器分解出图像的内容编码和风格编码，求出对应的后验分布，对于A域的输入X_A能够将其表示为内容编码C_A和风格编码S_A，它们所对应的后验分布和分别通过如下公式求解：

式中，P_A为A域的数据分布；

对于B域，其内容编码C_B和风格编码S_B的后验分布和分别由如下公式求解：

式中，P_B为B域的数据分布，X_B为B域的输入；

2)利用对抗操作和变分操作分别去拟合图像的内容编码和风格编码

对于图像的内容编码，引入对抗自编码器AAE，并通过域标签和类别标签的对抗来拟合内容编码的后验分布；对于图像的风格编码，引入变分自编码器VAE，通过KL散度使风格编码的后验分布与先验分布趋于一致；其中，对于风格编码，引入变分自编码器VAE，通过KL散度使A域风格编码的后验分布与先验分布趋于一致，并以L(θ_,φ,X_A)作为下界约束进一步保证后验分布对先验分布的拟合，其中θ和φ分别代表生成参数和变分参数，X_A为A域的输入，同理，B域风格编码的后验分布与先验分布趋于一致，并以L(θ,φ,X_B)作为下界约束进一步保证后验分布对先验分布的拟合，X_B为B域的输入；则针对A域和B域风格编码的VAE损失和由如下公式求解：

式中，D_kl(*)为KL散度；

内容编码作为跨域数据的公共属性，包含了信息丰富的语义特征，编码相对复杂，因此，选用对抗自编码器AAE并通过域标签和类别标签的对抗来拟合内容编码的后验分布；对于A域的内容编码C_A，构建对抗损失让内容编码的先验分布和后验分布通过对抗进行拟合，同理，对于B域的内容编码C_B，构建对抗损失让内容编码的先验分布和后验分布通过对抗进行拟合；则A域和B域内容编码的对抗损失和由如下公式求解：

3)通过拼接内容编码和风格编码实现图像重构，通过交叉拼接不同域的内容编码和风格编码得到跨域图像的一对多连续变换。

2.根据权利要求1所述的一种跨域变分对抗自编码方法，其特征在于：在步骤3)中，输入A域图像X_A，基于对其拟合的内容编码后验分布和风格编码后验分布解码能够生成重构图像X'_A，则X'_A应能真实还原X_A，同理，输入B域图像X_B，基于对其拟合的内容编码后验分布和风格编码后验分布解码能够生成重构图像X'_B，则X'_B应能真实还原；于是构建了如下公式重构损失L_rec：