[发明专利]一种文本聚类的方法及装置

说明书

本发明公开了一种文本聚类的方法及装置，涉及数据处理技术领域，为解决现有技术中实际特征相似的文本不能实现聚类的问题而发明。该方法主要包括：根据预训练BERT模型，提取待分类文本中每个句子的原始特征向量；计算所述待分类文本中的当前句子与所述待分类文本中其他句子之间的欧式距离；采用预置注意力机制算法，计算所述待分类文本中每个句子与所述待分类文本中其他句子相比的注意力特征；根据所述注意力特征，采用K‑means聚类算法，将所述待分类文本进行聚类。本发明主要应用于文本聚类的过程中。

技术领域

本发明涉及一种数据处理技术领域，特别是涉及一种文本聚类的方法及装置。

背景技术

当今互联网技术的高速普及和社交媒体的广泛使用，促使文本数据数量飞速增长，文本数据如评价信息、客户咨询问题、微博评论等。通过文本聚类可以区分不同的消费群体，也可以提取并概括数据中的特点，通常用于文档聚类、信息过滤、信息推荐或优化搜索等等。

通常聚类算法分为划分法、层次法、基于密度的方法、基于网格的方法、基于模型的方法。通常的文本聚类方法包括使用对文本分词、去停用词、使用词频和逆向词频的方式得到文本的特征，然后基于特征进行聚类。现有技术中，采用循环神经网络和注意力机制获取多个待分类短文本的语义特征向量，然后利用聚类算法根据N个初始聚类中心点，对多个待分类短文本的语义特征向量行迭代聚类，将多个待分类短文本的语义特征向量分为多个短文本类。其中，语义特征向量包括上下文局部特征、全局特征。

上述聚类方法在特征提取上存在信息丢失的问题，而导致实际特征相似的文本不能实现聚类的问题。

发明内容

有鉴于此，本发明提供一种文本聚类的方法及装置，主要目的在于解决现有技术中实际特征相似的文本不能实现聚类的问题。

依据本发明一个方面，提供了一种文本聚类的方法，包括：

根据预训练BERT模型，提取待分类文本中每个句子的原始特征向量；

计算所述待分类文本中的当前句子与所述待分类文本中其他句子之间的欧式距离；

采用预置注意力机制算法，计算所述待分类文本中每个句子与所述待分类文本中其他句子相比的注意力特征，所述预置注意力机制算法的计算公式为其中Q_i是当前句子的原始特征向量，K是所述当前句子的被考察句子的原始特征向量，d是所述当前句子与所述被考察句子的欧式距离，所述当前句子和所述被考察句子都属于所述待分类文本；

根据所述注意力特征，采用K-means聚类算法，将所述待分类文本进行聚类。

依据本发明另一个方面，提供了一种文本聚类的装置，包括：

提取模块，用于根据预训练BERT模型，提取待分类文本中每个句子的原始特征向量；

第一计算模块，用于计算所述待分类文本中的当前句子与所述待分类文本中其他句子之间的欧式距离；

第二计算模块，用于采用预置注意力机制算法，计算所述待分类文本中每个句子与所述待分类文本中其他句子相比的注意力特征，所述预置注意力机制算法的计算公式为其中Q_i是当前句子的原始特征向量，K是所述当前句子的被考察句子的原始特征向量，d是所述当前句子与所述被考察句子的欧式距离，所述当前句子和所述被考察句子都属于所述待分类文本；

聚类模块，用于根据所述注意力特征，采用K-means聚类算法，将所述待分类文本进行聚类。

根据本发明的又一方面，提供了一种计算机存储介质，所述计算机存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如上述文本聚类的方法对应的操作。