[发明专利]一种云计算环境下基于MapReduce的分布式并行文本聚类方法

权利要求书

1.一种云计算环境下基于MapReduce的分布式并行文本聚类方法，其特征在于，包括如下步骤：

(1)利用向量空间模型表示文本特征，结合文本相似度计算方法得到文本相似度计算模型；

(2)利用基于“互为最小相似度文本对”搜索的文本聚类算法选择确定初始二分簇中心，通过一次划分实现簇质心寻优的二分K-means聚类完成聚类，形成文本簇划分；

(3)基于MapReduce框架，采用三个MapReduce任务进行分布式并行计算，分别负责搜索“互为最小相似度文本对”、分配文本到两个簇、最终的K-means文本聚类，直到簇划分不再变化并输出聚类结果。

2.根据权利要求1所述的一种云计算环境下基于MapReduce的分布式并行文本聚类方法，其特征在于：所述的文本相似度计算方法如下：给定文本d_i,d_j，TA(d_i,d_j)＝{t_a1,t_a2,...,t_at,...,t_ah}表示d_i,d_j所含特征词的并集，h为并集中特征词的数目；TS(d_i,d_j)＝{t_s1,t_s2,...,t_sk,...,t_sl}表示d_i,d_j所含特征词的交集，l为交集中特征词的数目；则文本d_i,d_j在TS中的每个特征词t_sk上的相似度sim(d_i,d_j,t_sk)定义为

$sim(d_i,d_j,t_{sk})=\frac{\min (w_{isk},w_{jsk})}{\max (w_{isk},w_{jsk})};$

文本d_i,d_j的相似度SIM(d_i,d_j)定义为

$SIM(d_i,d_j)=\frac{\underset{t_{sk}\∈TS(d_i,d_j)}{\Σ}\sin (d_i,d_j,t_{sk})}{\left|TA(d_i,d_j)\right|}.$