[发明专利]对抗性策略的变分自编码模型

说明书

变分自编码模型和生成对抗网络均属于目前深度学习中主流的生成模型。由于生成结果质量的关键取决于模型中推理模型的推理能力和生成器模型的生成能力。所以本发明在变分自编码模型和生成对抗网路的基础上提出两者部分模块相结合的生成模型。这个模型不仅可以生成比传统变分自编码模型更清晰的图像，而且可以生成更具多样性的图像。本发明从模型建模模块、构建优化目标函数模块两个模块进行介绍。随机噪声和原始图像一同进入推理模型；推理模型将最大限度表示出真实的后验概率分布；生成器模型将尽可能获得最大的似然估计值；判别器模型将最大限度提升生成器模型的生成能力。

技术领域

本发明基于机器学习领域，进一步说是一种基于对抗性策略的变分自编码模型。

背景技术

生成模型作为机器学习领域的重要组成部分，在实际应用中，常常会遇到生成图像的质量不高，或生成图像缺乏丰富性等情况。问题是如何在保证生成图像清晰度的前提下，生成与原始图像相似或不同的大量新图像？于是本发明提出了一种基于对抗性策略的变分自编码模型。

传统的生成模型是一种将低维度隐变量还原成高维度数据所建模的模型。传统的变分自编码模型是将机器学习中的神经网络和变分贝叶斯方法相结合的一种生成模型，其主要由推理模型和生成器模型构成，加以神经网络而实现。协同训练这两个网络模型，进而将数据似然的变分下界最大化，以获得更好地生成效果。不同于传统的自编码模型，变分自编码模型通过从推理模型的近似后验分布中提取低维度的隐变量，并对其进行重新参数化处理，然后通过生成器模型将低维度的隐变量重构出高维度的数据。这里不仅采用较为复杂的变分方法，而且通过梯度下降方法和反向传播算法对其目标进行优化。

变分自编码模型生成的图像较为模糊，所以本发明是将其与同为生成模型的生成对抗网络相结合，提出对抗性策略的变分自编码模型。

发明内容

本发明提供了具有对抗性策略的变分自编码模型，不仅可以生成与原始图像不同的新数据，而且生成图像的效果比单独使用变分自编码模型和生成对抗网络都有较大的改善。

对抗性策略的变分自编码模型，包括：模型建模模块、构建优化目标模块。主要发明一种将生成对抗网络中的判别器模型与传统变分自编码模型相结合的新模型。

具体实施方式

在传统变分自编码模型的推理模型之前输入随机噪声ε和原始图像x。在该模型中，推理模型是必不可少的，其强大之处是能够最大限度的采集原始图像的细节信息，为生成结果做更好地保障。这里采用的推理模型用近似后验概率分布表示，其参数为原始图像x和随机噪声ε经推理模型产生低维度的隐变量z₁。同时还要从给定的先验分布p(z)中随机采样出于z₁维度相同的隐变量z，先验分布p(z)和隐变量z的存在是为了让模型产生新的图像，与原始图像不完全相同，这样可以较大限度地增加生成图像的丰富性，同时该模型最终的生成结果也是通过不断训练该模型后，隐变量z经生成器模型产生的结果。

现已经拥有两个同维度的隐变量z和z₁，将z₁输入到生成器模型中，通过生成器模型的条件概率分布p_θ(x|z)产生与原始图像x维度相同的数据x’，这里条件概率分布的参数为θ。根据传统变分自编码模型，x’被称作重构图像，意在说明x’是通过原始图像x通过一系列操作重构出来的。与传统变分自编码模型类似，我们要计算原始图像x与重构图像x’的重构误差，来检验重构图像与原始图像的相似性，进而判断生成器模型的生成能力。计算方式与传统变分自编码模型一样，最大化变分似然下界，提升推理模型和生成器模型各自的能力：

通过使用梯度下降等方式对变分下界中的参数θ和参数优化，使变分似然下界最大化，进而增加推理模型的推理能力和生成器模型的生成能力，为生成器模型生成效果更好的图像做准备。

现已拥有两个低维度隐变量z、z₁和两个高维度数据x、x’，将这四个“组件”按如下方式进行组合：