[发明专利]深度非线性主成分分析网络的训练方法、装置及计算机可读存储介质

说明书

本发明提供了一种深度非线性主成分分析网络的训练方法、装置及计算机可读存储介质，其中方法包括：获取深度非线性主成分分析网络；利用主成分分析网络进行前向传播，对输入数据进行逐层编码，求解出各层的输入值与其估计值之间的重构误差；从主成分分析网络的最后一层开始逐层进行反向回传，计算整个网络的重构误差之和对于各层权重的梯度；根据整个网络的重构误差之和对于各层权重的梯度，计算出深度非线性主成分分析网络的权重矩阵；根据权重矩阵对主成分分析网路进行参数更新，并返回利用主成分分析网络对输入数据进行前向传播的过程，直至整个神经网络的重构误差之和下降到收敛为止。本发明可以对复杂的数据提取高度有效的特征。

技术领域

本发明属于数据处理技术领域，尤其涉及一种深度非线性主成分分析网络的训练方法、装置及计算机可读存储介质。

背景技术

在高维数据爆炸式增长的今天，无论是在图像、视频、多媒体处理或是在网络数据相关性分析、搜索、生物医学图像和生物信息领域中，数据的维数都达到了上千甚至上亿的级别，样本数量也达到了相同的数量级。在数据高维数、大规模的背景下，特征提取和降维就显得尤为重要。主成分分析(Principle Component Analysis，PCA)是迄今为止应用最广泛的降维工具，也是最重要的机器学习算法之一，它通过一组正交变换将原本存在相关性的变量，去相关转化为一组线性不相关的变量，即主成分，PCA算法得到的低阶主成分中包含了数据中大部分的信息和最重要的特征，通过保留低阶主成分，PCA算法在特征提取、特征压缩方面拥有极其优良的特性，使得它在各领域得到了广泛的应用。

传统的主成分分析算法通过对输入变量X的协方差矩阵进行特征值分解来求取主成分所在的方向，这需要一次性获取输入数据中的所有样本，但是在大规模数据集的应用中，每次通常只能获取输入变量X的部分观测值，因此自适应求取算法计算主成分就显得尤为重要。最早出现的自适应主成分提取算法是Oja提出的单一神经元Hebb学习主成分分析器，该算法只能用于线性地提取第一主成分，它为基于神经网络的主成分分析算法奠定了基础。随后出现了大量的关于神经网络自适应地线性地提取多个主成分的算法，其中比较具有代表性的是Oja和Karhunen等人提出的对称子空间学习规则，该算法对单一神经元分析器拓展到单层神经网络，采用梯度下降法达到了求解m个主成分地目标，但是该算法求取的m个主成分不能严格收敛到实际的主成分方向；之后Sanger等人提出了广义Hebb算法，该算法将对称子空间的离散学习规则进行改进，只保留矩阵y(k)y^T(k)的下三角部分，从而使得m个主成分可以收敛到实际主成分方向、并按方差从大到小的顺序排列；为了提高收敛速度，Oja等人提出了随机梯度上升算法；为了使模型可以生长和收缩，Kung等人提出了基于反Hebb学习的自适应主成分提取算法，该算法增加了神经元之间的侧向连接。但是这些基于单层线性神经网络的自适应主成分分析算法，只能进行简单的线性映射，而且只对呈高斯分布这类简单分布的数据有较好的效果，这使得主成分分析在实际应用中受到了极大的局限。

为了解决线性映射的局限，非线性PCA和鲁棒PCA算法应运而生。其中比较典型的是Karhunen等人提出的两种非线性主成分分析算法，第一种采用单层非线性的神经网络模型，在每个神经元之后加入了一个非线性变换，通过最小化输入变量和经过非线性变化之后的估计值之间的重构误差，求取各神经元的权重向量；第二种算法在保证权重向量相互正交的前提下、最大化关于方差的非线性函数f(var(Wx))，采用梯度下降法求取神经元的权重W。