[发明专利]一种基于文档聚类关键词计算方法

说明书

技术领域

本发明属于计算机数据挖掘领域，具体涉及一种基于文档聚类关键词计算方法。

背景技术

在互联网行业中，用户往往会采用关键词组的查找，找出能代表其兴趣浏览的文章。现有技术中，都是把给定的文档集合当成一个完整的不可分割的整体，并在其上计算代表性关键词。典型应用包括新闻网站的个性化阅读系统，能根据用户所浏览的新闻，计算出代表用户兴趣的一组关键词，并基于这组关键词推荐新的文章。但事实上，一个用户的兴趣往往包含多个方面，是分散的。因此，对应的文档集合可以划分为若干组文档，每组对应着用户的一个兴趣点，且每一组内部的文档之间相关性很高，但不同组的文档之间则相关性较低。

通常情况下，一篇文章的特征是通过一组词来表示的，一个文档集合可能包含若干文章，每篇文章包含成百上千个词条，因此最后算下来，整个文档集合包含了成千上万个不同的特征(词)。如此高维度的特征空间(文档向量空间)，不仅会增加聚类算法的处理时间，而且对算法的精度会产生不良的影响，因此在聚类之前，需要对文档的向量空间做降维处理。现有的技术中，包括分词、文档向量化，聚类等技术都已经在机器学习(文本挖掘)领域有专门的讨论。如何从给定的文档集合中，挖掘出代表性关键词也已经有不少应用。但是，如何整合一系列的技术，对文档集合做进一步的细化分组，并在分组上做代表性关键词的挖掘，却并没有具体的技术方案去实施。

发明内容

为了解决现有技术存在的上述问题，本发明提供了一种基于文档聚类关键词计算方法。基于文档聚类的代表性关键词计算，其目的是在给定的文档集合中，通过中文分词、词频计算、文档向量的维度压缩、聚类等操作，将文档划分到若干个组中，每个组包含了紧密相关的一部分文档，然后计算出每个组的代表性关键词，最终组合成整个文档集合的代表性关键词。

本发明所采用的技术方案为：

一种基于文档聚类关键词计算方法，其改进之处在于：所述方法包括

(1)获取文本文档集合；

(2)将文档集合中各文档内容采用分词算法进行词条切分；

(3)建立文档向量；

(4)采用TF-IDF计算文档向量：

(5)对文档向量进行维度压缩；

(6)进行文档聚类计算；

(7)计算各组文档的代表性关键词。

优选的，所述步骤(1)包括不限制文档集合的来源，可为一个或多个文档组成的集合，每个文档取出其中包含的正文文本，用以代表这个文档的内容。

进一步的，对图片、声音和视频多媒体文件的处理，则对其中包含的文本信息来组成集合。

优选的，所述步骤(2)包括采用任意中文或英文分词算法，将文本文档的内容做词条的切分；同时，去除标点符号，并去除哦、了、么和其他虚词。

优选的，所述步骤(3)包括将步骤(1)中文档集合中N个文档，步骤(2)中文档集合中各文档经过分词包含的M个词条，整个文档集合建立文档向量；其中，所述M个词条采用拼音顺序进行排序。

优选的，所述步骤(4)包括采用TF-IDF这种统计方法，用以评估步骤(2)中的某个词条对于步骤(1)文档集合中的其中一份文档的重要程度，并获取N个M维的TF-IDF文档向量；其中，词条的重要性取决于在文档中出现的次数成正比增加；TF表示词条在文档中出现的频率，IDF表示逆向文档频率。

优选的，所述步骤(5)包括对于步骤(3)建立的文档向量中文档集合中N个文档和文档集合中各文档经过分词包含的M个词条中，某个词条的出现率大于0，则该文档包含对应的词条，通过词条的出现率选取文档集合的代表性词条。

进一步的，所述文档向量中包含第1个词条的文档有N1个，包含第2个词条的文档数量有N2个，以此类推，第M个词条的文档数量为NM；将{N1，N2，N3，...，NM}从大到小排序，取排名前N*x所对应的词条，为本文档集合的代表性词条，其中，松散参数为x可根据用户设定修改。

优选的，所述步骤(6)包括对文档向量做维度压缩后，执行K-Means聚类算法，需要聚集而成的类数量个数设为C；其中，分组个数C需要用户在执行聚类计算前设置好，用户可根据分类的效果进行调整。

优选的，所述步骤(7)包括对C个分组的文档，再次执行步骤(4)中的操作，分别计算出每个分组的TF-IDF文档向量；对计算后文档向量排序，则可得文档分组中TF-IDF值最高词，最终组合成整个文档集合的代表性关键词。

本发明的有益效果为：