[发明专利]一种MapReduce平台上的海量高维数据聚类方法

权利要求书

1.一种MapReduce平台上的海量高维数据聚类方法，其特征在于具体步骤如下：

（1）对于输入的海量高维数据进行预处理，设高维数据为D维，首先是对原数据各维进行标准化，之后将每一维切成N格，生成非空的D维格子集合；

（2）以步骤(1)输出的结果作为输入，实现MapReduce平台上的K-mediods并行算法，通过迭代计算对D维格子集合进行聚类；

（3）将步骤(2)得出的D维格子聚类的结果还原成原始的D维点集聚类结果，并按照用户的需求进行最终整理及输出。 

2.根据权利要求1所述的聚类方法，其特征在于步骤（1）中所述预处理的操作如下：

（1）由用户指定每一维切成几格，假设切成N格，N由用户指定；

（2）利用MapReduce计算每一维的最大值和最小值；

（3）利用操作（2）的结果，将原始高维数据标准化，即将每个坐标映射为[0，N)之间的某个整数；

（4）去除坐标重复的D维格子；

（5）将去重后的数据上传到HDFS上。

3.根据权利要求1所述的聚类方法，其特征在于步骤（2）中所述K-mediods过程的操作如下：

（1）首先在所有的D维格子中选出一些类中心点，作为最初的中心点集合，每个中心点管辖一个类；

（2）将中心点集合分发到集群中所有机器的本地硬盘上；

（3）分类：计算每个D维格子离哪个中心点最近，将格子分配给与其距离最近的中心点所管辖的类中；

（4）更新中心点集合：计算每个类中所有格子坐标在每一维上的中位数，作为新的中心点坐标，并输出；

（5）按照操作（4）的输出生成新的中心点集合，并分发到集群中所有机器的本地硬盘上，取代之前的集合； 

（6）重复操作（3）、（4）和（5），直到中心点集合中的所有坐标都不再改变；

（7）输出聚类结果。

4.根据权利要求1所述的聚类方法，其特征在于步骤（3）中所述还原输出过程的操作如下：

（1）通过点与格子进行匹配，格子与类的关系，输出每个点属于哪个类；

（2）收集每个类中的所有点，并将其输出；

（3）按用户需求进行调整，输出最终结果。