[发明专利]基于距离参数的大规模文本聚类方法

摘要

本发明公开了一种基于距离参数的文本聚类处理方法，包括文本特征的提取、降维、聚类、过滤无效簇、以聚类后簇中心点再次聚类五个步骤，通过对获取文本的降维手段使之便于聚类处理，以三元组的方式进行数据存贮，形成三元组列表，具有计算更少，聚类精度更高，处理规模更大，处理更快等特点，尤其适用于大规模文本的聚类。

主权项

1.一种基于距离参数的大规模文本聚类方法，其特征在于，包括以下步骤：步骤1)，获取文本，给每个文本分配文本ID并形成文本列表；步骤2)，逐一对所述文本进行分词操作，得到对应的词表；步骤3)，对所述词表进行第一降维操作，得到词表向量；步骤4)，对所述词表进行分字操作，得到字表；步骤5)，对所述字表进行第二降维操作，得到字表向量；步骤6)，所述词表向量与所述字表向量拼接形成所述文本对应的文本指纹；步骤7)，取一距离参数，并根据公式估算族个数N，根据输入文本的数量和所述距离参数对所述文本指纹进行K均值聚类，得到若干聚类族,以三元组的形式保存；步骤8)，将所述聚类族的数据点合并形成三元组列表；步骤9)，判断指定条件，不满足时返回步骤7)，满足时结束聚类，输出所述三元组列表。