[发明专利]基于分布式计算平台的层次聚类改进方法

权利要求书

1.基于分布式计算平台的层次聚类改进方法，其特征在于，包括，

S1、主节点和从节点上分别安装有Hadoop和Spark集群，通过HDFS获取数据；

S2、采用K-均值算法将数据聚类为N个簇，N的范围为3～5的正整数；

S3、对N个簇进行全排列，形成顺序不同的N！个序列，再利用BIRCH算法在Spark平台上计算，Spark平台利用分区的调配，并行化进行计算；

S4、对S3的计算结果根据数据簇的紧密性进行筛选，保留数据簇紧密性最好且离群点个数最少的一组数据，所述数据簇的紧密性指计算数据簇的中心点到数据簇各个点的距离和。

2.根据权利要求1所述的层次聚类改进方法，其特征在于，S3中所述利用BIRCH算法在Spark平台上计算的具体过程为：程序被提交到Spark平台后，为程序分配资源，将程序转换并执行，程序中有多个任务，每个任务根据数据集的宽依赖关系切分为若干Stage，每个Stage中包含一组Task，每个Task对应一个分区，最后Task被封装好后放入Executor的线程池中进行并行化计算。