[发明专利]一种跨域变分对抗自编码方法

说明书

本发明公开了一种跨域变分对抗自编码方法，包括步骤：1)利用编码器解耦跨域数据的内容编码和风格编码；2)利用对抗操作和变分操作分别去拟合图像的内容编码和风格编码；3)通过拼接内容编码和风格编码实现图像重构，通过交叉拼接不同域的内容编码和风格编码得到跨域图像的一对多连续变换。本发明方法在不提供任何成对数据的前提下，实现了跨域图像的一对多连续变换。

技术领域

本发明涉及计算机视觉的技术领域，尤其是指一种跨域变分对抗自编码方法。

背景技术

在计算机视觉领域，目前利用单一域数据进行图像生成、图像翻译已经取得了非常好的效果。但是，在实际生活和应用中，这些数据通常来自不同的域。比如一个物体可以有草图和视图两种表示，同样的文本内容可以是不同的字体等等。如何对跨域数据进行处理是一个重要的研究方向。现有的跨域工作主要以生成对抗网GAN为主。这类方法通过对不同域的数据进行对抗学习来自发拟合后验分布实现图像生成。在学习过程中总是需要成对的数据样本，这对数据集的要求比较高，况且在现实中并不存在“马和斑马一一对应的照片”；而且生成能力比较有限，往往只能生成一对一的跨域数据。在工业设计与虚拟现实等领域，设计者总是希望提供一张图片生成目标域的一系列连续变换的图片，现有方法无法满足这种需求。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提出了一种跨域变分对抗自编码方法，在不提供任何成对数据的前提下，实现了跨域图像的一对多连续变换。

为实现上述目的，本发明所提供的技术方案为：一种跨域变分对抗自编码方法，包括以下步骤：

1)利用编码器解耦跨域数据的内容编码和风格编码

通过编码器分解出图像的内容编码和风格编码，求出对应的后验分布；对于内容编码，引入对抗自编码器(AAE)；对于风格编码，引入变分自编码器(VAE)；

2)利用对抗操作和变分操作分别去拟合图像的内容编码和风格编码

对于图像的内容编码，引入对抗自编码器(AAE)，并通过域标签和类别标签的对抗来拟合内容编码的后验分布；对于图像的风格编码，引入变分自编码器(VAE)，通过KL散度使风格编码的后验分布与先验分布趋于一致；

3)通过拼接内容编码和风格编码实现图像重构，通过交叉拼接不同域的内容编码和风格编码得到跨域图像的一对多连续变换。

在步骤1)中，首先，通过编码器分解出图像的内容编码和风格编码，求出对应的后验分布，对于A域的输入X_A能够将其表示为内容编码C_A和风格编码S_A，它们所对应的后验分布和分别通过如下公式求解：

式中，P_A为A域的数据分布；

对于B域，其内容编码C_B和风格编码S_B的后验分布和分别由如下公式求解：

式中，P_B为B域的数据分布，X_B为B域的输入。

在步骤2)中，对于风格编码，引入变分自编码器(VAE)，通过KL散度使A域风格编码的后验分布与先验分布趋于一致，并以L(θ,φ,X_A)作为下界约束进一步保证后验分布对先验分布的拟合，其中θ和φ分别代表生成参数和变分参数，X_A为A域的输入，同理，B域风格编码的后验分布与先验分布趋于一致，并以L(θ,φ,X_B)作为下界约束进一步保证后验分布对先验分布的拟合，X_B为B域的输入；则针对A域和B域风格编码的VAE损失和由如下公式求解：