[发明专利]Hadoop框架下高维海量数据GMM聚类方法

权利要求书

1.Hadoop框架下高维海量数据GMM聚类方法，包括如下步骤：

(1)组建局域网

将多台计算机连接到同一局域网中，每台计算机作为一个节点，建立能够相互通信的集群；

(2)建立Hadoop平台

对集群中的每个节点配置Hadoop0.20.2文件，通过文件中属性参数dfs.namenode和dfs.datanode的设置，使集群中包含一个名字节点和多个数据节点；通过文件中属性参数mapred.jobtracker和mapred.tasktracker的设置，使集群中包含一个调度节点和多个任务节点，建立开源的Hadoop平台；

(3)上传数据到集群

使用Hadoop分布式文件命令dfs-put将待聚类数据集上传至Hadoop平台的各个节点上；

(4)初始聚类

采用KMeans聚类方法，对集群中节点上的数据进行初始粗略聚类，得到初始的聚类；

(5)计算各聚类的参数和判别函数

5a)计算初始的聚类每一个类的均值；

5b)统计初始聚类每一个类中数据的个数，用统计的数据个数除以待聚类数据集中数据的总数，得到初始聚类每一个类的权重；

5c)计算初始的聚类每一个类的方差；

5d)计算判别函数

按照下式计算高斯概率密度值：

G=exp(-(x-ui)Σi-1(x-ui)/2)(2π)d|Σi|]]>

其中，G表示高斯概率密度的值，x表示待聚类数据集中的任意一个向量数据，u_i表示第i个类的均值，i表示聚类中的第i个类，∑_i表示第i个类的方差，exp表示以e为底的指数运算；

按照下式计算判别函数的值：

L=Σx∈Dlog(Σi=1KpiG(x|ui,Σi))]]>

其中，L表示判别函数值，x表示待聚类数据集中的任意一个向量数据，D表示待聚类数据集，K表示聚类中类的个数，i表示聚类中的第i个类，p_i表示第i个类在聚类中的权重，G表示第i个类的高斯概率密度值，u_i表示第i个类的均值，Σ_i表示第i个类的方差；

(6)判断聚类是否完成

判断判别函数的值是否在设定域值之内，若在阈值内，则聚类结束，执行步骤(10)，若不在阈值内，表示聚类尚未结束，执行步骤(7)；

(7)重新聚类

7a)启动第一个Map任务，扫描待聚类数据集，每次读入一条数据；

7b)对每次读入的数据，采用以下公式计算读入的数据到聚类中每个类的概率值：

γ(x,i)=piG(x|ui,Σi)Σh=1KPhG(x|uh,Σh)]]>

其中，γ(x，i)表示待聚类数据集中数据x到聚类中第i个类的概率值，p_i表示第i个聚类在待聚类数据集中的权重，G为第i个聚类的概率密度函数值，x表示待聚类数据集中的数据，u_i表示第i个聚类的均值，Σ_i表示第i个聚类的方差，K表示聚类的个数，h表示聚类中的第h个类，P_h表示第h个聚类在待聚类数据集中的权重，u_h表示第h个类的均值，∑_h表示第h个聚类的方差；

7c)选取概率值中的最大值，将步骤7a)读入数据分配到最大值对应的类；

7d)判断是否读取完待聚类数据集，若未读取完，则执行步骤7a)，若读取完，则表示得到了新聚类，执行步骤(8)；

(8)计算新聚类中每一个类的均值、权重

启动第一个Reduce任务，计算第一个Map任务传入的聚类数据，按照步骤5a)的计算方法获得新聚类中每一个类的均值，按照步骤5b)的计算方法获得新聚类中每一个类的权重；

(9)计算新聚类中每一个类的方差

9a)启动第二个Map任务，第二次扫描待聚类数据集，每次读入一条数据；

9b)对每次读入的数据，采用以下公式计算Map/Reduce中间值：

D_mid＝(x-u)²

其中，D_mid表示Map/Reduce中间值，x表示步骤9a)读入的一条数据，u表示x所属类的均值；

9c)启动第二个Reduce任务，对9b)的中间值先求和，再求和的根，获得新聚类的方差；

9d)判断是否读取完待聚类数据集，若未读取完，则执行步骤9a)，若读取完，执行步骤(5)；

(10)输出聚类结果

聚类结束后，聚类中每一个类的均值、权重、方差作为聚类结果输出。