[发明专利]一种基于变分自动编码器和生成对抗网络的图像转化方法

说明书

技术领域

本发明涉及图像转化领域，尤其是涉及了一种基于变分自动编码器和生成对抗网络的图像转化方法。

背景技术

伴随着摄影技术的出现、电视和电影的普及、广告、报纸书刊、互联网等众多以图像为主的社会媒介飞速发展，与图像相关的技术日趋显出其重要性。将图像从一个域映射到另一个域(图像到图像转换)具有广泛的应用。例如，海上环境可见度差，常常有雾霾等，通过图像转化提前预知环境的相关情况，将对海上交通管理、捕鱼等海上作业提供便利；实现图像从白天到夜晚的转化、从晴天到雨天的转化等，使人们提前预知环境，方便出行或实施其他工作；将图像转化成相应的彩色图像，以便更好地显示和观察。然而，现有的大多数图像到图像转化方法都是基于监督学习，需要由两个对应的图像对组成的训练数据集，但是对于许多应用来说难以获得所需的图像对，因此给转化造成不便。

本发明提出了一种基于变分自动编码器和生成对抗网络的图像转化方法，使用无监督图像到图像转化(UNIT)网络框架学习两个图像域之间的双向转化功能，其包括VAE和VAE，用它们对每个图像域进行建模，对抗训练目标与权重共享约束相互作用，在两个域中产生相应的图像，将转化图像与各个域中的输入图像相关联，训练网络联合解决图像重构流和图像转化流的问题。本发明提出无监督图像到图像转化框架，使两个域中没有任何联系的图像完成转化；不需要对应图像组成的训练数据集即可完成，提高了效率和实用性，该方法还可拓展到无监督的语言转化。

发明内容

针对图像转化不便的问题，本发明的目的在于提供一种基于变分自动编码器和生成对抗网络的图像转化方法，使用无监督图像到图像转化(UNIT)网络框架学习两个图像域之间的双向转化功能，其包括VAE和VAE，用它们对每个图像域进行建模，对抗训练目标与权重共享约束相互作用，在两个域中产生相应的图像，将转化图像与各个域中的输入图像相关联，训练网络联合解决图像重构流和图像转化流的问题。

为解决上述问题，本发明提供一种基于变分自动编码器和生成对抗网络的图像转化方法，其主要内容包括：

(一)变分自动编码器(VAE)；

(二)权重共享；

(三)生成对抗网络(GAN)；

(四)学习。

其中，所述的无监督图像到图像翻译(UNIT)网络，该框架包括变分自动编码器(VAE)和生成对抗网络(GAN)；它由6个子网络组成：包括两个域图像编码器E₁和E₂，两个域图像生成器G₁和G₂，以及两个域对抗鉴别器D₁和D₂；令x₁和x₂为两个不同的图像域；在受监督的图像到图像转化问题中，从联合分布绘制训练样本(x₁，x₂)；在无监督设置中，仅从边际分布和给出训练样本。

其中，所述的变分自动编码器(VAE)，编码器-发生器对{E₁，G₁}构成了VAE₁的x₁域的VAE；对于输入图像x₁∈x₁，VAE₁首先通过编码器E₁映射到潜在空间中的代码，然后解码，经生成器G₁重建输入图像；编码器输出平均矢量E_1，μ(x₁)和方差矢量其中潜码z₁的分布由给出；矩阵对角元素提取操作符将向量转换为对角矩阵，其中对角元素是向量的分量；重建图像为这里将q₁(z₁|x₁)的分布作为的随机向量的符号，并从中采样；

类似地，{E₂，G₂}构成x₂域的VAE：VAE₂；编码器E₂输出平均矢量E_2，μ(x₁)和方差矢量潜码z₂的分布由给出；重建图像表示为