[发明专利]一种海量数据聚类方法

摘要

本发明公开了一种海量数据聚类方法。首先分析海量数据集并建立对应的差别矩阵，然后对差别矩阵进行稀疏化处理，得到属性的核和最约简的决策表再利用MapReduce分布式并行算法实现动态聚类，从而得到海量数据的最佳聚类，聚类后的数据可以用于各种数据挖掘的分析和应用。本发明充分发挥差别矩阵在信息约简方面的优势，通过差别矩阵对海量高维数据预先进行高效的降维、稀疏化等约简处理，解决了MapReduce计算框架只能处理单个数据集，不能直接支持对多个相关数据集的处理，也不能有效处理的高维海量数据的问题。

主权项

一种海量数据聚类方法，其特征在于包含如下步骤：步骤一，根据输入的海量高维数据，建立一个基于信息系统表达的原始决策表；步骤二，基于原始决策表建立一个差别矩阵；步骤三，对差别矩阵进行稀疏化处理，成为一个稀疏化的矩阵；步骤四，基于稀疏后的差别矩阵，求取属性的核；步骤五，基于属性的核中的属性形成一个约简后的决策表，以此决策表作为输入，实现在MapReduce分布式计算框架上的动态聚类分布式并行算法，实现约简后的决策表的坐标聚类；步骤六，基于步骤五中约简后的决策表的坐标聚类结果，通过MapReduce分布式计算框架转换为原始的海量高维数据的数据聚类。