[发明专利]一种文本聚类的方法及装置

权利要求书

1.一种文本聚类的方法，其特征在于，包括：

根据预训练BERT模型，提取待分类文本中每个句子的原始特征向量；

计算所述待分类文本中的当前句子与所述待分类文本中其他句子之间的欧式距离；

采用预置注意力机制算法，计算所述待分类文本中每个句子与所述待分类文本中其他句子相比的注意力特征，所述预置注意力机制算法的计算公式为其中Q_i是当前句子的原始特征向量，K是所述当前句子的被考察句子的原始特征向量，d是所述当前句子与所述被考察句子的欧式距离，所述当前句子和所述被考察句子都属于所述待分类文本；

根据所述注意力特征，采用K-means聚类算法，将所述待分类文本进行聚类。

2.如权利要求1所述的方法，其特征在于，所述根据预训练BERT模型，提取待分类文本中每个句子的原始特征向量，包括：

获取所述预训练BERT模型，并启动BERT服务；

调用所述BERT服务，生成所述待分类文本中每个句子的原始特征向量。

3.如权利要求1所述的方法，其特征在于，所述采用预置注意力机制算法，计算所述待分类文本中每个句子与所述待分类文本中其他句子相比的注意力特征之前，所述方法还包括：

统计所述待分类文本中的句子总数；

计算所述当前句子的待注意句子数量，所述待注意句子数量是预置比例与所述句子总数的乘积；

按照所述欧式距离从小到大的顺序，选取所述待注意句子数量的所述欧式距离所对应的待聚类句子；

所述采用预置注意力机制算法，计算所述待分类文本中每个句子与所述待分类文本中其他句子相比的注意力特征，包括：

采用预置注意力机制算法，计算所述待分类文本中每个句子与所述待聚类句子中其他句子相比的注意力特征。

4.如权利要求3所述的方法，其特征在于，所述根据所述注意力特征，采用K-means聚类算法，将所述待分类文本进行聚类，包括：

在所述注意力特征中，选取预置数量的质心组，每个所述质心组中包括待分组数的所述注意力特征的聚类质心，所述预置数量是从所述句子总数中随机选取所述待分组数的组合数；

根据所述注意力特征与所述聚类质心，计算所述每个质心组的类簇平方和；

根据最小的所述类簇平方和对应的质心组，将所述待分类文本进行聚类。

5.如权利要求4所述的方法，其特征在于，所述根据所述注意力特征与所述聚类质心，计算所述每个质心组的类簇平方和，包括：

依次选取每个所述质心组中的聚类质心，将所述注意力特征聚类至所述聚类质心所属的质心类簇；

依次计算所述质心类簇的质心平方和，所述质心平方和是所述质心类簇中每个注意力特征和所述质心类簇的聚类质心之间的特征距离的平方和；

累加所述质心平方和生成所述类簇平方和。

6.如权利要求5所述的方法，其特征在于，所述依次选取每个所述质心组中的聚类质心，将所述注意力特征聚类至所述聚类质心所属的质心类簇，包括:

依次计算每个所述质心组中的聚类质心，与每个所述注意力特征之间的特征距离；

依次在每个所述质心组中，查找所述注意力特征的所述特征距离中的最小距离，将所述注意力特征聚合至所述最小距离对应的所述聚类质心所属的质心类簇。

7.一种文本聚类的装置，其特征在于，包括：

提取模块，用于根据预训练BERT模型，提取待分类文本中每个句子的原始特征向量；

第一计算模块，用于计算所述待分类文本中的当前句子与所述待分类文本中其他句子之间的欧式距离；

第二计算模块，用于采用预置注意力机制算法，计算所述待分类文本中每个句子与所述待分类文本中其他句子相比的注意力特征，所述预置注意力机制算法的计算公式为其中Q_i是当前句子的原始特征向量，K是所述当前句子的被考察句子的原始特征向量，d是所述当前句子与所述被考察句子的欧式距离，所述当前句子和所述被考察句子都属于所述待分类文本；

聚类模块，用于根据所述注意力特征，采用K-means聚类算法，将所述待分类文本进行聚类。