[发明专利]一种中文文本数据聚类方法及系统

权利要求书

1.一种中文文本数据聚类方法，所述文本数据具有多个维度，其特征在于，包括： 

步骤1将每条所述文本数据进行降维处理； 

步骤2将所述文本数据根据需要分成多批次； 

步骤3对单批次中的文本数据根据文本相似性进行聚类操作； 

步骤4完成所有批次各个批次之间的聚类操作，形成统一聚类。 

2.如权利要求1所述的中文文本数据聚类方法，其特征在于， 

所述步骤1中的降维处理包括： 

步骤a.选取特征字集合； 

步骤b.将每条所述文本数据比照所述特征字集合，统计在所述文本数据中出现的特征字，形成文本数据的特征集合。 

3.如权利要求2所述的中文文本数据聚类方法，其特征在于， 

所述步骤a中还包括：在所述特征字集合中对每个特征字编号； 

所述步骤b中文本数据的特征集合，包括所述特征字在所述特征字集合中的特征字编号。 

4.如权利要求3所述的中文文本数据聚类方法，其特征在于， 

所述步骤3中还包括： 

步骤a.确定文本相似性阈值； 

步骤b.按照计算机系统读取顺序，将首次被聚类的文本数据作为首个初始聚类中心，并顺序遍历本批次内的文本数据，两两进行文本相似性比较； 

步骤c.将文本相似性值与所述阈值进行比较，如果符合阈值判断，则将 与初始聚类中心相似的文本数据聚为一类； 

步骤d.按照计算机系统读取顺序，将不符合阈值判断的文本数据进行首次聚类，作为新的初始聚类中心，并顺序遍历本批次内其他不符合阈值判断的文本数据，两两进行文本相似性比较； 

步骤e.迭代运行步骤c和d，直到批次内所有文本数据都被聚类，此时批次内所有初始聚类中心都聚类完成； 

步骤f.将聚类操作完成批次的初始聚类中心存储到数据库中。 

5.如权利要求4所述的中文文本数据聚类方法，其特征在于， 

所述步骤4中还包括： 

步骤a.按读取顺序将多批次的文本数据通过对各批次的初始聚类中心进行文本相似性比较，在多批次之间合并聚类； 

步骤b.完成所有批次文本数据的合并聚类，形成统一的聚类。 

6.如权利要求5所述的中文文本数据聚类方法，其特征在于， 

所述步骤a中的多个批次之间的合并聚类为两个批次之间的合并聚类； 

所述步骤b中的所有批次文本数据的组合合并聚类为两两合并聚类。 

7.如权利要求4或5所述的中文文本数据聚类方法，其特征在于， 

所述文本相似性通过进行比较； 

其中，i，j为文本数据的编号； 

T_i为第i条文本数据的特征集合，T_j为第j条文本数据的特征集合； 

f(T_i)为T_i中特征字的个数，f(T_j)为T_j中特征字的个数； 

T_i∩T_j为T_i与T_j共有特征字的共有特征集合，f(T_i∩T_j)为T_i与T_j共有特征字的字数； 

S_ij为第i条文本数据与第j条文本数据的相似性值。 

8.一种中文文本数据聚类系统，其特征在于，包括： 

降维处理模块，所述降维处理模块用于根据选定的特征字集合，对每条文本数据统计出现的特征字，形成文本数据的特征集合； 

数据文本分批模块，所述数据文本分批模块用于对文本数据进行分批处理； 

聚类处理模块，所述聚类处理模块用于对单批次中的文本数据进行聚类操作以及对各批次各个批次之间的合并聚类。 

9.如权利要求8所述的中文文本数据聚类系统，其特征在于， 

所述聚类处理模块包括文本相似性计算单元，遍历路径控制单元，比较单元； 

所述文本相似性计算单元用于通过文本相似性计算公式计算文本相似性值，所述文本相似性计算公式为其中，i，j为文本数据的编号；T_i为第i条文本数据的特征集合，T_j为第j条文本数据的特征集合；f(T_i)为T_i中特征字的个数，f(T_j)为T_j中特征字的个数；T_i∩T_j为T_i与T_j共有特征字的共有特征集合，f(T_i∩T_j)为T_i与T_j共有特征字的字数；S_ij为第i条文本数据与第j条文本数据的相似性值； 

所述比较单元用于将文本相似性值与设定的阈值比较，进行阈值比较判定； 

所述遍历路径控制单元用于按照计算机系统读取顺序，将首次被聚类的文本数据作为首个初始聚类中心，并顺序遍历本批次内的文本数据，两两进行文本相似性比较；以及将不符合阈值判断的文本数据进行首次聚类，并顺 序遍历本批次内其他不符合阈值判断的文本数据，两两进行文本相似性比较，直到批次内所有文本数据都被聚类；以及将多批次的文本数据通过对各批次的初始聚类中心进行文本相似性比较，在多批次之间合并聚类，并完成所有批次文本数据的合并聚类。