[发明专利]一种基于舆情平台的抽样分布式聚类方法

说明书

技术领域

本发明属于数据挖掘和机器学习领域，具体地涉及一种基于舆情平台的抽样分布式聚类方法。

背景技术

数据聚类问题，是通过数据样本点之间的相似性来对之进行操作，让相似度高的数据样本点在同一类簇中，而相似度较低的样本点彼此远离。聚类一直以来都是数据挖掘和机器学习中的重要方法之一，但随着互联网的发展特别是Web2.0带来的用户原创内容的爆发式增长，数据量已成为传统聚类方法的瓶颈，尤其是新闻推荐、机器翻译、文献检索、情报分析、舆情监控等应用领域的文本数据，具有高维稀疏的特性。如何提高聚类算法特别是高维稀疏数据的聚类方法的效率，已成为互联网大数据数据挖掘亟待解决的重要问题。

因此，有必要提供一种可以提高高维稀疏数据的聚类方法的效率的基于舆情平台的抽样分布式聚类方法。

发明内容

本发明的目的在于提供一种可以提高高维稀疏数据的聚类方法的效率的基于舆情平台的抽样分布式聚类方法。

本发明的技术方案如下：一种基于舆情平台的抽样分布式聚类方法包括如下步骤：一、获取待聚类数据，并对所述待聚类数据进行分片处理，得到多个分片；二、利用MapReduce中的Map函数对每一所述分片进行数据抽样；三、将得到的抽样数据汇总，并在MapReduce框架的Reduce过程中对汇总的所述抽样数据进行聚类；四、依次重复步骤二和步骤三合计进行r轮数据抽样，将每一轮的抽样数据的聚类结果记作基聚类，并得到Π＝{π1,π2,…,πr}的向量，其中，r为大于等于2的正整数，πi为第i轮的基聚类，1≤i≤r，且为正整数；五、再次使用MapReduce框架将所述基聚类集成为最终的聚类结果。

优选地，在步骤一中，对所述待聚类数据进行水平分割，并在分割过程中保证每条数据的完整性，且将分割得到的所述分片存储在分布式文件系统中。

优选地，所述步骤二中进行数据抽样至少满足的要求包括：抽样技术本身足够简单、抽样基于局部数据进行和抽样结果具有一定的随机性。

优选地，在步骤三中，将具体的数据抽样轮次作为key，得到的抽样数据作为value，通过shuffle函数汇聚到MapReduce的一个Reduce函数中，在所述Reduce函数中对抽样数据进行聚类。

优选地，在步骤五中包括如下步骤：随机选择一定数量的所述基聚类作为质心，并用Map函数计算其他所述基聚类与所述质心间的距离，每一所述基聚类被指派到与其距离最近的所述质心所在的类簇中，并在Reduce函数中更新类簇的质心；重复这一过程直到所述类簇的质心不再改变。

优选地，设定z_k表示基聚类向量Π中第k个类簇的质心，描述为rk维向量：

其中，

优选地，设定向量Π描述为一个rk维的向量x_l，则x_l与z_k之间的余弦距离为：

其中wi表示第i个基聚类的权重，当不存在先验知识时取值为1/r。

优选地，质心z_k利用如下公式进行更新：

其中是关于Π的常数向量，

表示第i个基聚类的第k个簇中实例的数量；

对于和而言，如果给定一个d维实向量y，||y||_p表示y的Lp范数，即

本发明提供的技术方案具有如下有益效果：

所述基于舆情平台的抽样分布式聚类方法利用抽样技术缩减数据规模，通过多轮抽样提高基聚类结果的多样性，然后定义余弦距离将基聚类结果集成为最终的聚类结果，因此能够有效提高海量数据的聚类效率问题；

并且，通过引入抽样技术，缩减数据规模的同时提高数据多样性，然后利用分布式计算框架设计两阶段的聚类过程，为提高互联网大数据中舆情项目分析的聚类质量和效率提供了有效方法。

附图说明

图1是本发明实施例提供的基于舆情平台的抽样分布式聚类方法的流程框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。