[发明专利]基于非参数VMF混合模型的文本数据聚类方法、装置及设备

说明书

本发明公开了一种基于非参数VMF混合模型的文本数据聚类方法、装置及设备，方法包括：S101，获取待聚类的文本数据集；其中，所述文本数据集包括多个文本，每个文本用词频‑逆文本频率指数标准化方法表示为D维的文本向量特征；S102，使用基于Pitman‑Yor过程的非参数VMF混合模型对每个文本进行建模；S103，通过变分贝叶斯推断算法估算所述非参数VMF混合模型的模型参数；S104，根据推断的所述模型参数，判断所述非参数VMF混合模型是否收敛；若否，则返回步骤S103，若是，则执行步骤S105；S105，根据指示因子的后验概率判断每个文本的所属类别，从而根据所属类别对所述文本进行聚类。本发明能够确保算法收敛并且可以有效地检测收敛状态。

技术领域

本发明涉及文本挖掘领域，尤其涉及一种基于非参数VMF混合模型的文本数据聚类方法、装置及设备。

背景技术

随着互联网的快速发展和新闻文档的广泛使用，文本数据聚类作为文本挖掘中最有用的任务之一，近年来受到越来越多的关注。

现有技术一中，钟文良等提出了一种基于Pitman-Yor过程的不平衡文本数据聚类方法。在该方法中，每一个文本用TF(词频，term frequency)向量表示，向量的每个属性代表一个特定的词项(术语)在文档中出现的频率，每个类别中的所有词项都服从同一个多项分布(Multinomial Distribution)。该方法采用Polya罐子模型(Polya urn model)来构建基于多项分布的Pitman-Yor过程模型，并利用Gibbs采样算法进行模型参数的求解。其存在的缺陷是：

1、每个文本用TF向量来表示。然而在本文数据分析领域中，许多研究工作已经显示使用TF-IDF向量表示方法总是比使用TF会得到更好的性能。此外，由于基于TF-IDF的向量可以表示为单位球面(unit-sphere)上的一个点，所以本发明使用基于VMF概率分布的混合模型是一个恰当地选择。

2、Pitman-Yor过程模型使用Polya罐子模型来进行构建。不能直观地表示Pitman-Yor过程模型的离散性质。

3.采用的Gibbs采样算法进行模型参数的求解无法得到解析解，并且不容易收敛且很难确定收敛状态。

现有技术二中，Nguyen Kim Anh等提出了基于狄利克雷过程(DirichletProcess，DP)的VMF混合模型的文档聚类方法。在该方法中每一个文本用TF-IDF向量表示，并假设每个文本都服从基于DP的VMF混合模型。该方法分别采用了渐进逼近(AsymptoticApproximation)以及变分贝叶斯推断方法来估算VMF的浓度参数和其余模型参数。

其存在缺陷是：

1.文本聚类方法基于狄利克雷过程(DP)框架所构建的VMF混合模型。由于DP混合模型通常无法识别出仅含有少量数据样本的类别，所以不能有效地对不平衡数据进行聚类分析。

2、VMF概率分布中的浓度参数在基于VMF的建模应用中起到至关重要的作用。现有技术二中浓度参数使用渐进逼近的方法来得到估计值，然而该估算方法无法有效应对高维数据。

发明内容

有鉴于此，本发明的目的在于提供一种基于非参数VMF混合模型的文本数据聚类方法、装置及设备，能够确保算法收敛并且可以有效地检测收敛状态。

本发明实施例提供了一种基于非参数VMF混合模型的文本数据聚类方法，包括：

S101，获取待聚类的文本数据集；其中，所述文本数据集包括多个文本，每个文本用词频-逆文本频率指数标准化方法表示为D维的文本向量特征；

S102，使用基于Pitman-Yor过程的非参数VMF混合模型对每个文本进行建模；

S103，通过变分贝叶斯推断算法估算所述非参数VMF混合模型的模型参数；