[发明专利]文本聚类方法及装置

说明书

本申请公开了一种文本聚类方法、装置、计算机设备及计算机存储介质，涉及文本聚类技术领域，能够快速实现对海量文本数据的精准聚类，提高文本聚类效果。所述方法包括：获取从网络平台中随机抽取出各个类目下的文本语料；利用多模式匹配算法，提取所述各类目下的文本语料中具有文本特征的文本分词；将所述具有文本特征的文本分词输入至预先训练的语言模型，得到文本分词的向量表示；利用基于密度的聚类算法，对所述文本分词的向量表示进行聚类。

技术领域

本发明涉及文本聚类技术领域，尤其是涉及文本聚类方法、装置、计算机设备及计算机存储介质。

背景技术

近年来，随着信息技术和数据库的迅猛发展，人们可以非常方便地获取和存储大量文本数据，文本数据是一种非结构化数据，具有高纬、数据量大、价值密度低等特点，如何从海量文本数据进行有效处理及价值挖掘已成为当今文本处理研究的热点，文本聚类是自然语言文本智能分析技术的一种应用，利用文本之间的相似性实现相似文本的聚类，便于对同类别文本数据的分析处理。

现有技术中，常规的文本聚类方法主要包括文本特征提取阶段以及文本特征聚类阶段，通过文本特征提取阶段可以提取到文本数据的，然而，对于大量文本数据，常规的文本聚类方法仍然存在以下两方面不足，一方面，在文本特征提取过程中，常规的文本聚类方法使用完整的文本进行语言模型的构建，导致添加了很多无效的文本特征，语言模型构建速度较慢，影响文本聚类的速度；另一方面，在文本特征聚类阶段，常规的文本聚类方法使用欧氏距离进行文本特征直接差异的计算，计算复杂度较高，使得文本聚类的准确度较低，影响文本聚类效果。

发明内容

有鉴于此，本发明提供了一种文本聚类方法、装置、计算机设备及计算机存储介质，主要目的在于能够快速实现对海量文本数据的精准聚类，提高文本聚类效果。

依据本发明一个方面，提供了一种文本聚类方法，该方法包括：

获取从网络平台中随机抽取出各个类目下的文本语料；

利用多模式匹配算法，提取所述各类目下的文本语料中具有文本特征的文本分词；

将所述具有文本特征的文本分词输入至预先训练的语言模型，处理为文本分词的向量表示；

利用基于密度的聚类算法，对所述文本分词的向量表示进行聚类。

进一步地，所述利用多模式匹配算法，提取所述各类目下的文本语料中具有文本特征的文本分词，具体包括：

利用多模式匹配算法所构建的树形结构，遍历匹配所述各类文本类目下的文本语料；

记录树形结构中与文本语料匹配相一致目标节点对应的模式串；

汇总所述目标节点对应的模式串，形成具有文本特征的文本分词。

进一步地，所述利用多模式匹配算法所构建的树形结构，遍历匹配所述各类文本类目下的文本语料，具体包括：

利用多模式匹配算法，将预先维护的特征词转换为多模式串后，构建包含有失败指针的树形结构，所述树形结构中每个节点对应有一个失败指针；

将所述各类文本类目下的文本语料形成多个主串分别沿着树形结构中节点指向以及节点对应失败指针的指向与每个节点对应的模式串进行匹配。

进一步地，所述将所述各类文本类目下的文本语料形成多个主串分别沿着树形结构中节点指向以及节点对应失败指针的指向与每个节点对应的模式串进行匹配，具体包括：

将所述各类文本类目下的文本语料形成多个主串分别沿着树形结构中节点指向与每个节点对应的模式串进行匹配；

若匹配相不一致，则沿着节点对应失败指针的指向继续与每个节点对应的模式串进行匹配。