[发明专利]一种对海量文档集的层次聚类方法及系统

权利要求书

1.一种对海量文档集的层次聚类方法，其特征在于，包括步骤：

LDA主题分析步骤，使用LDA模型对文档集的文档-词项矩阵进行分析，进而生成文档集的文档-主题分布矩阵和主题-词项分布矩阵；

Word Embedding模型训练步骤，对文档集进行Word Embedding模型的训练，进而将文档集的词典中的每个词项映射为一个多维向量；

层次主题树生成步骤，对文档集进行聚类分析后生成对应的层次主题树；

文档层次聚类步骤，基于建立的层次主题树对文档集进行层次聚类；

所述层次主题树生成步骤，具体为：对文档集的每个LDA主题生成一个主题词项集，进而对每个主题词项集进行层次聚类分析后，获得对应的子层次主题树，最后将所有子层次主题树结合起来作为整个文档集的层次主题树；

所述层次主题树生成步骤，具体包括以下步骤：

LDA主题词项集获取步骤，基于生成的主题-词项分布矩阵，针对文档集的词典中的每个词项，将其分配给主题分布值最高的LDA主题，进而为文档集的每个LDA主题获得相对应的主题词项集；

主题词项集优化步骤，基于Word Embedding模型训练所获得的每个词项的多维向量，对每个LDA主题词项集进行二分K-means聚类，进而计算聚类生成的两个簇的凝聚度后，删除凝聚度值大的簇，将凝聚度值小的簇作为该LDA主题的优化后的主题词项集；

子层次主题树生成步骤，利用基于轮廓系数的二分K-means分裂式层次聚类对每个LDA主题词项集进行层次聚类分析，进而生成对应的子层次主题树；

层次主题树生成步骤，将所有子层次主题树结合起来作为整个文档集的层次主题树。

2.根据权利要求1所述的一种对海量文档集的层次聚类方法，其特征在于，所述子层次主题树生成步骤，具体包括：

步骤1，利用基于轮廓系数的二分K-means分裂式层次聚类对每个LDA主题词项集进行层次聚类分析，将每个主题词项集作为一个簇，进行二分K-means聚类；

步骤2，判断该簇的层次数是否达到预设的深度，若是，则执行步骤4，反之，执行步骤3；

步骤3，将当前聚类的层次树结构的所有叶节点对应的簇组成一个簇集合，并计算该簇集合中的每个簇的轮廓系数后，选择轮廓系数最小的簇进行二分K-means聚类，并返回执行步骤2；

步骤4，获得当前聚类的层次树结构作为该LDA主题项对应的子层次主题树。

3.根据权利要求1所述的一种对海量文档集的层次聚类方法，其特征在于，所述文档层次聚类步骤，其具体为：

基于建立的层次主题树，针对文档集中的每个文档，计算其与建立的层次主题树中的叶子主题的余弦相似度，并将每个文档分配给最大余弦相似度值所对应的叶子主题，实现对文档集的层次聚类。