[发明专利]基于改进型核模糊C均值类间极大化聚类算法

说明书

【技术领域】

本发明涉及数据挖掘及无监督模式识别技术领域，特别涉及一种改进型的核模糊C均值类间极大化聚类算法。

【背景技术】

聚类分析是数据挖掘和无监督模式识别学习的主要任务之一，已广泛应用于数据挖掘、图像处理、计算机视觉、生物信息和文本分析领域中。针对数据的分析方法一般分为三大类，即有监督的学习、半监督的学习以及无监督的学习。有监督学习包括：有监督的学习方法中，典型代表就是邻近结点算法(KNN)，半监督的学习方法中，具有代表性的是支持向量机(SVM)，以及一些相关的改进算法。而无监督方法主要是以聚类分析方法为主，聚类的方法可以分为基于划分的方法、基于分层的方法、基于密度的方法和基于网格的方法，其中，基于划分的聚类算法在模式识别里是最常用的聚类分析方法，本文主要是针对此类算法进行讨论的。

聚类是指将一组给定的未知类标号的数据分类到不同的类，且保证同一个类内的对象有较大的相似性，而类间的对象有较大的差异性。聚类算法有很多，典型的算法有基于硬划分的k-means算法以及基于软划分的FCM算法，此处的软硬即表示隶属度的模糊程度区别，隶属度越模糊则“软”的程度越大，隶属度越精确则越偏向“硬”的程度。因为FCM算法存在对噪声点与野值点敏感和只善于发现致密的球形结构等缺点。为了克服FCM的缺点，在模式识别的各个领域内出现了很多以FCM为基础的一些算法，比较突出的有PCM，FPCM，PFCM等。

Aizerman等人在1964年把核函数的思想引入到机器学习领域。1995年，基于VC理论，Xortes与Vapnik提出支持向量机(SVMs)分类算法，SVM在一些问题上得到比传统分类器更好的性能。SVM的成功使得核函数的应用得到重视并应用到机器学习的其他领域，如核主成分分析、核Fisher鉴别分析以及基于核的聚类分析等。基于核方法的聚类通过核函数把原始空间中的点映射到特征空间中，在特征空间直接或间接地进行算法设计、分析与计算，从而得到原始空间的聚类划分。在一定程度上，基于核的聚类方法提高了聚类的效果。但是，不管是传统聚类或者核聚类，大部分聚类算法都只是考虑类内关系，而忽略了类与类之间的关系。

由于类与类之间的协方阵是表示类中心与类中心之间的距离，而它们的距离取得最大值会有更好的聚类效果。本文提到的基于核化距离的模糊C均值聚类算法(简称KDFCM)，在一定程度上，该算法增强了对噪声点或野值点的鲁棒性，提高了聚类效果。但是始终是以模糊聚类为基础且忽略了类与类之间的距离信息。

【发明内容】

本发明提出了一种基于改进型的核模糊C均值类间极大化聚类算法(简称MKDFCM)。该算法由类内最小和类间最松散的聚类准则推导而出，并做进一步改进，使得类中心与类中心之间距离极大化，构造出全新的目标函数。

为了达到本发明的目的，根据本发明的一个方面，本发明提供一种基于改进型的核模糊C均值类间极大化聚类算法，所述方法具有如下优点：对噪声点或野值点有较好的鲁棒性，对样本不平衡数据集和边界模糊数据集具有更佳的聚类效果。

尽管KDFCM算法在一定程度上，相对FCM算法在噪声点或野值点的鲁棒性上有所提高，但是KDFCM仍存在以下两个主要缺点：1)由于仍然采用基于核空间的欧氏距离，没有考虑类与类之间的信息，而实际情况中，类与类之间的信息在聚类过程中发挥巨大的作用。2)由于采用梯度下降法迭代求解，易收敛于局部最优值，造成了KDFCM对野值或噪声的鲁棒性不高。本文针对上述问题，提出了改进的基于核化距离的模糊C均值聚类(MKDFCM)算法。该算法在KDFCM算法的目标函数上引入了特征空间内的类间极大惩罚项，并通过引入调控因子λ实现对特征空间内类间划分的控制，使得聚类中心之间的距离最大化，使特征空间内类与类之间的间隔尽可能大。特征空间内的类间极大惩罚项的表达式如下：