[发明专利]基于半监督的信息熵主成分分析降维方法

说明书

本发明涉及一种基于半监督的信息熵主成分分析降维方法，属于数据挖掘高维数据降维领域，本发明旨在解决传统PCA算法在实际应用中存在的问题，当数据维数过高时，数据中包含的信息比较复杂，导致分类器的识别度不高，并且次方法处理数据时，耗时太长，不能够满足实际应用的需求。针对此问题，本文引入了信息熵的思想以及半监督学习方法，对PCA算法进行了改进，使得改进后的算法能够用于处理高维数据，并进行降维。本发明可以避免噪声对数据聚类的影响，具有较高的噪声抗干扰能力，有效的避免了高维数据引起的维度灾难问题。

技术领域

本发明属于计算机技术应用领域，涉及一种基于半监督的信息熵主成分分析的降维方法。

背景技术

近年来，随着数据挖掘技术的迅速发展，数据挖掘技术已经在很多领域得到广泛的应用，例如经济、环境、医疗等，但是，随着数据挖掘技术的不断深入，数据的维数也开始增加，从一开始的一维、二维、三维变成几十维、几百维、几千维，人们开始将关注度转到数据的降维方面，因此，也随之产生了许多降维技术。

降维方法主要分为线性降维方法和非线性降维两种，其中，线性降维的方法主要有主成分分析(PCA)，线性判别分析(LDA)等，非线性降维的方法主要有核主成分分析(KPCA)以及基于流行的局部线性嵌入(LLE)等，随着降维技术的不断发展，PCA降维方法也出现了许多缺陷，而对于这些缺陷，一些学者们也相继提出了改进的算法，但是改进之后，会由于原始数据的维数太高，信息复杂，而导致分类器的识别度不高。

发明内容

鉴于此，本发明主要解决由于原始数据的维数太高，信息复杂，而导致分类器的识别度不高的问题，使得降维后的数据可以在较低内存，用时较少的情况下得以继续分析处理，本发明主要使用了信息熵以及半监督方法，对主成分分析(PCA)算法进行了改进，提出了一种基于半监督的信息熵的主成分分析算法。

综上，现有的模型很难从自身上来提高对数据中异常值和噪声的鲁棒性。

为了达到上述目的，本发明基于半监督以及信息熵对PCA算法进行了改进，其算法步骤如下：

步骤一：定义待说明的高维数据集

步骤二：先使用半监督技术对数据集X中的数据进行标记，标记那些距离较近且对数据集有用的数据，这样就可以区分距离较远的数据以及无用的数据。

步骤三：将未标记的数据从数据集X中删除，并将数据集X中的已标记的数据重新进行标记，并将剩余的M个数据放入数据集S中，即S＝{s₁,s₂,…,s_M}，其中(MN)，这样就使原数据集X中的维数进一步的降低，而不会改变原数据集中的高维数据以及成对约束的结构。

步骤四：进一步地，使用K-means聚类方法对重构的数据集S进行聚类处理。

步骤五：进一步，计算每个属性的信息熵，信息熵公式如下：

步骤六：进行特征筛选，将计算出的信息熵值与阈值δ进行比较，如果信息熵值H(s_i)δ,将对应的s_i放入数据集B中，否则将该数据删除。

步骤七：重复第六步，直至将数据集S中的数据比较结束，将数据集S经过进一步筛选，筛选出一些无用且距离较远的数据，保留了对分析样本有用的数据点集，然后将这些筛选好的数据放入数据集A中。

步骤八：分割数据矩阵[B,C]＝randomSplit(Matrix)//B为训练集，C为检验集。

步骤九：样本B矩阵中心化即每一维度减去该维度的均值，计算公式为：X＝B–repmat(mean(B,2),1,m₁)。

步骤十：将数据集A中的数据样本矩阵中心化，得到矩阵A。

步骤十一：计算矩阵A中每个属性的协方差。