[发明专利]基于距离参数的大规模文本聚类方法

权利要求书

1.一种基于距离参数的大规模文本聚类方法，其特征在于，包括以下步骤：

步骤1)，获取文本，给每个文本分配文本ID并形成文本列表；

步骤2)，逐一对所述文本进行分词操作，得到对应的词表；

步骤3)，对所述词表进行第一降维操作，得到词表向量；

步骤4)，对所述词表进行分字操作，得到字表；

步骤5)，对所述字表进行第二降维操作，得到字表向量；

步骤6)，所述词表向量与所述字表向量拼接形成所述文本对应的文本指纹；

步骤7)，取一距离参数，并根据公式估算族个数N，根据输入文本的数量和所述距离参数对所述文本指纹进行K均值聚类，得到若干聚类族,以三元组的形式保存；

步骤8)，将所述聚类族的数据点合并形成三元组列表；

步骤9)，判断指定条件，不满足时返回步骤7)，满足时结束聚类，输出所述三元组列表。

2.根据权利要求1所述的基于距离参数的大规模文本聚类方法，其特征在于：所述步骤1)中包括对所述文本的消噪处理。

3.根据权利要求1所述的基于距离参数的大规模文本聚类方法，其特征在于：所述聚类族包括第一聚类族和第二聚类族，所述第一聚类族中点与点之间的最大距离大于所述距离参数，所述第二聚类族中点与点之间的最大距离不大于所述距离参数。

4.根据权利要求3所述的基于距离参数的大规模文本聚类方法，其特征在于：所述步骤7)后得到所述第一聚类族和第二聚类族中的至少一种。

5.根据权利要求1所述的基于距离参数的大规模文本聚类方法，其特征在于：所述文本ID为独立不重复的ID。

6.根据权利要求1所述的基于距离参数的大规模文本聚类方法，其特征在于：所述步骤3)中第一降维操作和步骤5)中第二降维操作采用simhash降维操作，simhash算法中采用sha256算法作为每个词或字的指纹。

7.根据权利要求6所述的基于距离参数的大规模文本聚类方法，其特征在于：所述在步骤2)中，词的权重根据词在词表中的排序计算，排序越前，权重最大；所述simhash算法权重为采用以下公式计算：

W＝int(ln(c+1))

其中c为词出现的次数，int为取整操作。

8.根据权利要求3所述的基于距离参数的大规模文本聚类方法，其特征在于：所述步骤7)中，所述估算族个数N的公式为：

class_num＝len/(ln(len)*ln(len)*distance*distance)

其中，len为输入的文本数量，distance为输入的距离参数。

9.根据权利要求3所述的基于距离参数的大规模文本聚类方法，其特征在于：所述步骤7)中，采用MiniBatch的方法进行K均值聚类。

10.根据权利要求3所述的基于距离参数的大规模文本聚类方法，其特征在于：所述指定条件为次数条件或者比例条件；所述次数条件为执行步骤7到8的操作6至10次；所述比例条件为第二聚类族的比例低于10％。