[发明专利]一种中文文本数据聚类方法及系统

说明书

技术领域

本发明涉及数据挖掘技术领域，尤其涉及一种中文文本数据聚类法及系统。 

背景技术

在数据挖掘领域中，已有的聚类算法主要有以下几类，包括层次聚类，在线聚类，基于图论方法的聚类，基于成分分析的聚类等。 

在聚类过程中需要对全部数据进行逐条计算及分析，并且相似性计算函数较为复杂，算法时间复杂度高。对于1千万条以上的数据，聚类的空间复杂度也非常高。海量文本信息的聚类是一个挑战。已有的聚类算法大都还只是停留在实验室阶段，且实验时使用的数据集合过于局限。对于海量的数据的处理，很多算法处理效率很低。 

K-means算法的工作原理：算法首先随机从数据集中选取K个点作为初始聚类中心，然后计算各个样本到聚类中的距离，把样本归到离它最近的那个聚类中心所在的类。计算新形成的每一个聚类的数据对象的平均值来得到新的聚类中心，如果相邻两次的聚类中心没有任何变化，说明样本调整结束，聚类准则函数已经收敛。本算法的一个特点是在每次迭代中都要考察每个样本的分类是否正确。若不正确，就要调整，在全部样本调整完后，再修改聚类中心，进入下一次迭代。如果在一次迭代算法中，所有的样本被正确分类， 则不会有调整，聚类中心也不会有任何变化，这标志着已经收敛，因此算法结束。 

K-means算法的缺点包括： 

1.需事先给出K的值，对于实际情况，K的值是极其难以估计的。 

2.首先需要根据初始聚类中心来确定一个初始划分，然后对初始划分进行优化。这个初始聚类中心的选择对聚类结果有较大的影响，一旦初始值选择的不好可能无法得到有效的聚类结果。这也成为K-means算法的一个主要问题。 

3.从K-means算法框架可以看出，该算法需要不断地进行样本分类调整不断地计算调整后的新的聚类中心。因此当数据量非常大时，算法的时间开销是非常大的。 

上述聚类实现方法，对于少量样本，可以方便地在单机上实现。但对于海量样本而言，一方面由于单机内存容量有限，不可能读入海量的样本数据；另一方面，由于聚类过程中需要进行聚类中心点的多轮更新计算过程，处理时间很长，在实际的数据业务应用中，效率很低。 

发明内容

针对以上所述的技术问题，本发明提供了一种中文文本数据聚类方法及系统，有效地提升处理效率，并尽可能地减少了空间消耗。 

具体技术方案如下所示： 

一种中文文本数据聚类方法，所述文本数据具有多个维度，其中，包括： 

步骤1将每条所述文本数据进行降维处理； 

步骤2将所述文本数据根据需要分成多批次； 

步骤3对单批次中的文本数据根据文本相似性进行聚类操作； 

步骤4完成所有批次各个批次之间的聚类操作，形成统一聚类。 

优选的，所述步骤1中的降维处理包括： 

步骤a.选取特征字集合； 

步骤b.将每条所述文本数据比照所述特征字集合，统计在所述文本数据中出现的特征字，形成文本数据的特征集合； 

优选的，所述步骤a中还包括：在所述特征字集合中对每个特征字编号； 

所述步骤b中文本数据的特征集合，包括所述特征字在所述特征字集合中的特征字编号。 

优选的，所述步骤3中还包括： 

步骤a.确定文本相似性阈值； 

步骤b.按照计算机系统读取顺序，将首次被聚类的文本数据作为首个初始聚类中心，并顺序遍历本批次内的文本数据，两两进行文本相似性比较； 

步骤c.将文本相似性值与所述阈值进行比较，如果符合阈值判断，则将与初始聚类中心相似的文本数据聚为一类； 

步骤d.按照计算机系统读取顺序，将不符合阈值判断的文本数据进行首次聚类，作为新的初始聚类中心，并顺序遍历本批次内其他不符合阈值判断的文本数据，两两进行文本相似性比较； 

步骤e.迭代运行步骤c和d，直到批次内所有文本数据都被聚类，此时批次内所有初始聚类中心都聚类完成； 

步骤f.将聚类操作完成批次的初始聚类中心存储到数据库中。 

优选的，所述步骤4中还包括： 

步骤a.按读取顺序将多批次的文本数据通过对各批次的初始聚类中心 进行文本相似性比较，在多批次之间合并聚类； 

步骤b.完成所有批次文本数据的合并聚类，形成统一的聚类。 

优选的，所述步骤a中的多个批次之间的合并聚类为两个批次之间的合并聚类；