[发明专利]一种互联网数据聚类方法及系统

说明书

技术领域

本发明属于数据挖掘技术领域，尤其涉及一种互联网文本数据聚类方法及系统。

背景技术

随着大数据时代的到来，数据挖掘领域中面临的数据变得越来越复杂。尤其是互联网文本数据，除了数量巨大之外，由矢量空间模型(Vector Space Model)构建的文本数据还具有超高的维度和稀疏度，现有的数据挖掘聚类算法，如k-means、层次聚类、普聚类等应用于文本聚类时，普遍存在不足和局限。

针对高维稀疏数据的子空间聚类问题，学术界提出了许多相关的子空间聚类算法(Subspace Clustering)，软子空间聚类算法是其中的一类。依据加权的层数不同，软子空间聚类算法可以分为单层软子空间聚类算法和双层软子空间聚类算法。EW-k-means是典型的单层软子空间聚类算法。它假设特征集在每个聚类簇上都包含一组权重，权重大小由特征对该聚类簇形成的贡献大小决定。FG-k-means是由陈小军等人在2012年提出来的一种双层软子空间聚类算法，它引入了特征组的概念，在组与特征上同时加权，在对超高维稀疏数据进行聚类时，效果明显优于单层软子空间聚类算法。它针对特征空间包含分组信息的数据进行聚类，特征空间定义如下：

1)设训练数据集为X＝{x₁,x₂,…,x_N}，其中x_i∈R^d(1≤i≤N)表示数据集中第i个样本；

2)上的特征集为V＝{v₁,v₂,…,v_d}，中的特征包含于组集合G＝{G₁,G₂,…,G_k}中且满足

FG-k-means算法需在以上形式的数据集上找出K个聚类簇，同时寻找每个聚类簇在组以及特征上对应子空间。

现有的FG-k-means算法在聚类性能上优于其他算法，但是还存在如下问题：FG-k-means算法需要使用特征组的信息，来完成双层聚类优化的目的，但是一般的文本数据中不会提供此类信息，限制了其应用的范围；FG-k-means存在初始中心点选取不同而导致的聚类结果的不稳定性的问题。

发明内容

本发明提供了一种互联网文本数据聚类方法及系统，旨在至少在一定程度上解决现有技术中的上述技术问题之一。

本发明实现方式如下，一种互联网文本数据聚类方法，包括以下步骤：

一种互联网文本数据聚类方法，包括以下步骤：

步骤a：利用主题模型对文本数据进行训练，得到各个主题下所有关键词的概率分布矩阵，并在文本集合中为对关键词进行分组；

步骤b：根据关键词的分组重新组织文本数据的特征集，得到包含关键词分组特征信息的新的文档数据；

步骤c：在包含关键词分组信息的新文档数据上运行双层软子空间聚类算法，生成聚类中心矩阵和样本归属矩阵；

步骤d：重复n次步骤a至步骤c，得到多个聚类结果；

步骤e：在模型集合上运行聚类集成算法，将多个聚类结果进行集成，得到最终的聚类结果。

本发明实施例采取的技术方案还包括：在所述步骤a中，在主题模型中设置主题数量、聚类集成模型数据量和聚类簇的数量。

本发明实施例采取的技术方案还包括：在所述步骤a中，利用主题模型对文本数据进行训练时，在文本数据集上运行设置的相应主题数量的主题模型算法。

本发明实施例采取的技术方案还包括：在所述步骤c中，所述双层软子空间聚类算法采用FG-k-means算法。

本发明实施例采取的技术方案还包括：在所述步骤e中，所述将多个聚类结果进行集成具体包括：将同一数据集下的多个聚类结果进行融合，得到反应所述数据集内在结构的划分。