[发明专利]一种主题聚类的方法及装置

说明书

本申请提供了一种主题聚类的方法及装置，其中，该方法包括：对待聚类文档进行主题聚类，得到至少一个主题以及每个所述主题下的至少一个聚类词汇；针对每个主题，基于该主题下的各个聚类词汇，以及预设的与该主题对应的主题词汇，确定各个聚类词汇分别与该主题对应的主题词汇的相似度；基于各个聚类词汇分别与该主题对应的主题词汇的相似度，从各个聚类词汇中确定目标词汇，并将所述目标词汇确定为该主题下的主题聚类结果。与现有技术中的主题聚类的技术方法相比，该主题聚类的方法是在现有技术中的主题聚类模型基础上的进一步优化，能够对具有干扰性的信息进行排除，更加准确地对文本型信息进行主题聚类。

技术领域

本申请涉及信息领域，尤其是涉及一种主题聚类的方法及装置。

背景技术

随着互联网的快速发展，网络上的信息量与日俱增，用户对于信息的获取要求也越来越高。由于网络上大多为文本型信息，因此对文本型信息进行精准地检索逐渐成为研究的热点话题。

在现有技术中，以基于统计机器学习的主题聚类方法应用最为广泛，其中一种常见模型就是隐含狄利克雷分配(Latent Dirichlet Allocation，LDA)模型。LDA模型是一种主题模型，可以用来识别大规模文档集或语料库中潜藏的主题信息，得到文档-主题概率分布以及主题-词概率分布，在文本挖掘领域包括文本主题识别、文本分类以及文本相似度计算方面都有广泛地应用。

申请人在研究中发现，通过现有技术中的统计机器学习的主题聚类方法处理的信息往往存在一些信息不符合预期需求，造成主题聚类结果达不到预期的精准度。

发明内容

本申请实施例至少提供一种主题聚类的方法及装置，进一步优化了主题聚类方法，以提高对于文本型信息进行主题聚类之后结果的精准性。

第一方面，本申请实施例提供了一种主题聚类的方法，包括：

对待聚类文档进行主题聚类，得到至少一个主题以及每个所述主题下的至少一个聚类词汇；

针对每个主题，基于该主题下的各个聚类词汇，以及预设的与该主题对应的主题词汇，确定各个聚类词汇分别与该主题对应的主题词汇的相似度；

基于各个聚类词汇分别与该主题对应的主题词汇的相似度，从各个聚类词汇中确定目标词汇，并将所述目标词汇确定为该主题下的主题聚类结果。

一种可选实施方式中，所述对待聚类文档进行主题聚类，得到至少一个主题以及每个所述主题下的至少一个聚类词汇，包括：

基于待聚类文档的数量和大小，获取主题聚类的迭代次数、主题个数以及各个主题下的词汇数量；

基于所述迭代次数、所述主题个数、以及所述各个主题下的词汇数量，对所述待聚类文档进行主题聚类；

所述主题个数与所述待聚类文档的数量和大小均成正相关性。

一种可选实施方式中，所述基于该主题下的各个聚类词汇，以及预设的与该主题对应的主题词汇，确定各个聚类词汇分别与该主题对应的主题词汇的相似度，包括：

针对该主题下的各个聚类词汇，确定该聚类词汇分别与该主题对应的各个主题词汇的距离，将该聚类词汇分别与该主题对应的各个主题词汇的距离，确定为该聚类词汇分别与该主题对应的各个主题词汇的相似度。

一种可选实施方式中，所述基于各个聚类词汇分别与该主题对应的主题词汇的相似度，从各个聚类词汇中确定目标词汇，包括：

针对每个聚类词汇，将该聚类词汇分别与该主题对应的各个主题词汇的相似度，分别与预设的相似度阈值进行比对；

若该聚类词汇与任一主题词汇对应的相似度大于所述相似度阈值，且与该聚类词汇相似度大于所述相似度阈值的主题词汇数量满足预设条件，则将该聚类词汇确定为目标词汇。