[发明专利]一种多局部线性预测的数据降维方法

说明书

本发明涉及机器学习中数据降维领域，是一种流形学习数据降维算法。本发明提出一种基于多局部线性预测的数据降维算法。通过在高维空间根据欧式距离把流形分成一个个局部，由于每个样本点属于多个局部，因此可以在不同的局部对同一个点进行特征保持。局部中的每一个点都可以通过其余点进行拟合系数逼近。该系数就是本发明要保持的特征。局部线性预测，局部同胚预测，局部过零点线性预测都是从不同的角度进行拟合，得到不同的系数预测。同样在低维空间也有不同的角度寻找目标点的坐标和该点不同的预测值，有均值最小化和方差最小化的拟合方式。通过在低维空间选择适合的方式拟合预测点和目标点，得到数据在低维空间的坐标。

技术领域

本发明属于机器学习，流形学习领域，涉及流形学习中的一种基于多局部线性预测的数据降维方法。

背景技术

数据降维是应对大数据时代维度爆炸现象的一种数据处理方法，是指将数据样本从高维空间降到低维 空间从而获得数据在低维空间的表示。数据降维可以降低数据的冗余性，还原数据的本征维度，从原始数 据中挖掘出有用的信息，并且实现数据的可视化分析，提高对数据处理的效率。数据降维有线性降维和非 线性降维两大类，线性降维可以使得降维前后的坐标呈线性映射的关系，主要有主成分分析(Principle ComponentAnalysis，简称PCA)和线性判定分析(Linear Discriminant Analysis，简称LDA)。线性降维方 法计算简单，计算速度快，因此在实际应用中得到了广泛的应用。

对于具有非线性结构的数据需要采用非线性数据降维的方法。非线性降维技术通过对高维流行中均匀 采样得到的数据通过非线性映射获得其在低维空间的坐标。通过非线性映射挖掘出数据内在的有效信息， 得到其潜在的拓扑结构，实现对数据进行降维。基于流形学习的非线性数据降维方法为非线性数据降维提 供了一条解决途径。该方法通过试图保留特定的数据特征，比如距离，邻近度等，使得数据在高维和低维 空间保持一致性。流形学习降维方法专注于一个特定的视角，从而保持一个单一的几何量。目前的研究热 点是如何在确保不丢失主要特征的前提下，尽可能地实现维数的减缩。目前的流行学习降维方法主要有： 局部线性嵌入(Locally Linear Embedding，简称LLE)、等距映射(IsometricMapping，简称ISOMAP)、 局部切空间对齐(Local tangent space alignment，简称LTSA)和拉普拉斯特征映射(Laplacian Eigenmaps， 简称LE)等。

等距映射是一种经典的流行学习算法。等距映射具有降维前后的数据测地距离保持的思想，实现数据 的降维。等距映射不同以往的多维尺度变化(MultidimensionalScaling，简称MDS),用数据结构中的测地 线距离代替了其中的欧式距离，从而更贴切的保持了数据点的内在几何性质。等距映射在局部的邻值选取 中要有适中的值。取太小的邻值可能会导致数据点构成的图连接不上，得不到两点的测地线距离。

局部切空间排列是2004年提出的一种流行学习方法。居于保持每个局部在切空间上的特征，对每个 切空间进行降维。进而在低维空间中对这些保持的局部切空间进行排列组合，最终构造出流行在低维空间 的全局坐标。局部切空间排列具有实现简单，全局最优等特点，但是难以处理非均匀分布的观测数据。

局部线性嵌入居于局部线性保持的思想，把视角聚焦于局部领域结构的保持。该算法把流形分成一个 个的局部，认为每个局部的中心点可以由周围的邻点通过线性组合来逼近，从而取得每个点的预测系数， 在低维空间中利用这些系数对数据进行重构，得到降维后的结果。局部线性嵌入算法计算复杂度小，容易 实现。