[发明专利]一种基于变分自动编码器和生成对抗网络的图像转化方法

权利要求书

1.一种基于变分自动编码器和生成对抗网络的图像转化方法，其特征在于，主要包括变分自动编码器(VAE)(一)；权重共享(二)；生成对抗网络(GAN)(三)；学习(四)。

2.基于权利要求书1所述的无监督图像到图像翻译(UNIT)网络，其特征在于，该框架包括变分自动编码器(VAE)和生成对抗网络(GAN)；它由6个子网络组成：包括两个域图像编码器E₁和E₂，两个域图像生成器G₁和G₂，以及两个域对抗鉴别器D₁和D₂；令和为两个不同的图像域；在受监督的图像到图像转化问题中，从联合分布绘制训练样本(x₁，x₂)；在无监督设置中，仅从边际分布和给出训练样本。

3.基于权利要求书1所述的变分自动编码器(VAE)(一)，其特征在于，编码器-发生器对{E₁,G₁}构成了VAE₁的域的VAE；对于输入图像VAE₁首先通过编码器E₁映射到潜在空间中的代码，然后解码，经生成器G₁重建输入图像；编码器输出平均矢量E_1，μ(x₁)和方差矢量其中潜码z₁的分布由给出；矩阵对角元素提取操作符将向量转换为对角矩阵，其中对角元素是向量的分量；重建图像为这里将q₁(z₁|x₁)的分布作为的随机向量的符号，并从中采样；

类似地，{E₂,G₂}构成域的VAE：VAE₂；编码器E₂输出平均矢量和方差矢量潜码z₂的分布由给出；重建图像表示为

4.基于权利要求书3所述的采样，其特征在于，采样操作z₁～q₁(z₁|x₁)可以通过实现，其中，是Hadamard乘法；同样，z₂～q₂(z₂|x₂)采样操作后为

5.基于权利要求书1所述的权重共享(二)，其特征在于，为了使两个VAE中的表示相关联，强制执行权重共享约束；基于两个域中一对相应图像的高级表示，共享提取两个域中的输入图像的高级表示E₁和E₂最后几层的权重；类似地，共享解码高级表示，重建输入图像G₁和G₂前几层的权重。

6.基于权利要求书5所述的潜在代码，其特征在于，相同的潜码可以被解码，在两个域中输出两个不相关的图像；通过对抗训练，分别将两个域中的一对相应图像分别映射到E₁和E₂的公共潜在代码，并将潜在的代码映射到两个对应的图像中，分别为G₁和G₂。

7.基于权利要求书6所述的共享潜在空间，其特征在于，和的共享潜在空间能完成图像到图像的转化；通过应用G₂(z₁～q₁(z₁|x₁))将中的图像x₁转换为中的图像；将这样的信息处理流称为图像转化流；两个图像转化流存在于UNIT框架中：和两个流与图像重建流联合训练；一旦确保一对相应的图像被映射到相同的潜伏码，并且相同的潜码解码成一对对应的图像，则(x₁，G₂(z₁～q₁(z₁|x₁)))将形成一对相应的图像。