[发明专利]一种中文文本数据聚类方法及系统

摘要

本发明公开了一种中文文本数据聚类法及系统，属于数据挖掘技术领域其中，包括步骤1将每条所述文本数据进行降维处理；步骤2将所述文本数据根据需要分成多批次；步骤3对单批次中的文本数据根据文本相似性进行聚类操作；步骤4完成所有批次批次之间的聚类操作，形成统一聚类。所述步骤1中的降维操作包括步骤a.选取特征字集合；步骤b.将每条所述文本数据比照所述特征字集合，统计在所述文本数据中出现的特征字，形成文本数据的特征集合。本发明的有益效果是通过对文本数据的降维操作和批次处理，有效地提高了系统运行速度和效率，减少了空间开销。解决了大规模中文文本的聚类的处理效率问题以及空间占用量大的性能问题。

主权项

一种中文文本数据聚类方法，所述文本数据具有多个维度，其特征在于，包括：步骤1将每条所述文本数据进行降维处理；步骤2将所述文本数据根据需要分成多批次；步骤3对单批次中的文本数据根据文本相似性进行聚类操作；步骤4完成所有批次各个批次之间的聚类操作，形成统一聚类；所述步骤1中的降维处理包括：步骤11.选取特征字集合；步骤12.将每条所述文本数据比照所述特征字集合，统计在所述文本数据中出现的特征字，形成文本数据的特征集合；所述步骤11中还包括：在所述特征字集合中对每个特征字编号；所述步骤12中文本数据的特征集合，包括所述特征字在所述特征字集合中的特征字编号；所述步骤3中还包括：步骤31.确定文本相似性阈值；步骤32.按照计算机系统读取顺序，将首次被聚类的文本数据作为首个初始聚类中心，并顺序遍历本批次内的文本数据，两两进行文本相似性比较；步骤33.将文本相似性值与所述阈值进行比较，如果符合阈值判断，则将与初始聚类中心相似的文本数据聚为一类；步骤34.按照计算机系统读取顺序，将不符合阈值判断的文本数据进行首次聚类，作为新的初始聚类中心，并顺序遍历本批次内其他不符合阈值判断的文本数据，两两进行文本相似性比较；步骤35.迭代运行步骤33和34，直到批次内所有文本数据都被聚类，此时批次内所有初始聚类中心都聚类完成；步骤36.将聚类操作完成批次的初始聚类中心存储到数据库中；所述文本相似性通过进行比较；其中，i，j为文本数据的编号；Ti为第i条文本数据的特征集合，Tj为第j条文本数据的特征集合；f(Ti)为Ti中特征字的个数，f(Tj)为Tj中特征字的个数；Ti∩Tj为Ti与Tj共有特征字的共有特征集合，f(Ti∩Tj)为Ti与Tj共有特征字的字数；Sij为第i条文本数据与第j条文本数据的相似性值。