[发明专利]一种基于图像处理的最大间隔深度生成模型的生成方法

说明书

本发明提供了一种基于图像处理的最大间隔深度生成模型生成方法，包括：构建带有标注的图片样例的集合，获取图片样例的隐藏表示，获得最大间隔正则化因子；获取并根据隐藏变量分布的参数采样隐藏变量，计算所述隐藏变量变分后验分布和先验分布的相对熵；获取并根据每个图片样例生成分布的参数对所述图片样例进行概率重建，得到概率重建误差；将最大间隔正则化因子、相对熵以及概率重建误差求和，得到最大间隔深度生成模型。本发明提供的最大间隔深度生成模型，提高了在判别任务上的表现，维持了深度生成模型数据建模的能力，可以处理大规模数据，应用于图像处理方面的任务中。

技术领域

本发明涉及数据挖掘、机器学习技术领域，具体涉及一种基于图像处理的最大间隔深度生成模型的生成方法。

背景技术

随着深度学习的不断发展，前馈神经网络在各个领域都取得了显著的成就，比如语音识别、图像分类、文本分类等等。尤其是卷积神经网络在各个图像识别的数据集上都取得了领先的地位。但是单纯的前馈神经网络不能够对训练样例进行概率建模，也就无法处理输入数据存在信息缺失的情况。深度生成模型作为一种提取样例高阶非线性特征的模型在数据建模，样例生成和缺失数据预测上有着很好的表现。但是生成式模型在单纯的判别任务上的表现一般劣于判别式模型；另外前馈神经网络中有明确的分类误差目标函数，而深度生成模型的推断问题是一个挑战。

目前，许多学者对于生成模型及其相关技术都进行了非常多的深入研究，具体说明如下：

最大间隔学习在判别式模型的学习上非常有效，比如支撑向量机、多元输出最大间隔马尔科夫网络等等。因此，一些研究人员通过在最大间隔模型中引入隐藏变量，从而可以显著的提高生成模型的判别表现。但是这些方法都只是提高了浅层生成模型的判别能力，难以处理日益复杂的数据。

另一些学者提出了一种基于变分推断构建独立于生成模型(解码网络)的识别模型(编码网络)来近似隐藏变量后验分布的方法。本质上可以理解为概率自动编码器。该方法可以高效的学习复杂的隐层表示，但是仍然没有探索深度生成模型学习的特征在判别任务上的表现，判别能力差。同时，该方法也没有探寻如何将卷积操作应用于解码网络中。

还有一些学者提出了反池化操作，通过将反池化、卷积和非线性结合，构造了从手工特征到椅子图片的确定性网络。但是该方法是一种确定性网络，并不是生成模型，不涉及概率建模；顶层特征也是手工设计，不是自动学习；同时该方法也不学习从数据到隐藏表示的编码网络。

一个理想的深度生成模型应该具有下述特点：在判别任务上和前馈卷积神经网络相媲美；可以对数据进行良好建模，自动学习深层表示，处理数据缺失的情况；可以快速学习模型参数。然而上述的现有技术的方案中，并没有一个较为完善的深度生成模型的方案。

发明内容

本发明要解决的技术问题是：解决现有技术中的没有一种应用于图像处理的可以在判别任务上表现良好，自动学习深层表示、处理数据缺失、可快速学习模型参数的深度生成模型的问题。

为实现上述的发明目的，本发明提供了一种基于图像处理的最大间隔深度生成模型生成方法。包括：

构建带有标注的图片样例的集合，获取所述集合中每个图片样例的隐藏表示，并综合所述隐藏表示以及所述图片样例的标注，获得最大间隔正则化因子；

获取隐藏变量分布的参数，并根据所述隐藏变量分布的参数采样隐藏变量，计算所述隐藏变量变分后验分布和先验分布的相对熵；

获取每个图片样例生成分布的参数，并根据所述图片样例生成分布的参数对所述图片样例进行概率重建，得到概率重建误差；

将所述最大间隔正则化因子、相对熵以及概率重建误差求和，得到最大间隔深度生成模型；

其中，所述隐藏变量分布的参数根据所述隐藏表示计算得到；

所述图片样例生成分布的参数根据所述隐藏变量计算得到。