[发明专利]一种基于文档聚类关键词计算方法

权利要求书

1.一种基于文档聚类关键词计算方法，其特征在于：所述方法包括

(1)获取文本文档集合；

(2)将文档集合中各文档内容采用分词算法进行词条切分；

(3)建立文档向量；

(4)采用TF-IDF计算文档向量：

(5)对文档向量进行维度压缩；

(6)进行文档聚类计算；

(7)计算各组文档的代表性关键词。

2.根据权利要求1所述的一种基于文档聚类关键词计算方法，其特征在于：所述步骤(1)包括不限制文档集合的来源，可为一个或多个文档组成的集合，每个文档取出其中包含的正文文本，用以代表这个文档的内容。

3.根据权利要求2所述的一种基于文档聚类关键词计算方法，其特征在于：对图片、声音和视频多媒体文件的处理，则对其中包含的文本信息来组成集合。

4.根据权利要求1所述的一种基于文档聚类关键词计算方法，其特征在于：所述步骤(2)包括采用任意中文或英文分词算法，将文本文档的内容做词条的切分；同时，去除标点符号，并去除哦、了、么和其他虚词。

5.根据权利要求1所述的一种基于文档聚类关键词计算方法，其特征在于：所述步骤(3)包括将步骤(1)中文档集合中N个文档，步骤(2)中文档集合中各文档经过分词包含的M个词条，整个文档集合建立文档向量；其中，所述M个词条采用拼音顺序进行排序。

6.根据权利要求1所述的一种基于文档聚类关键词计算方法，其特征在于：所述步骤(4)包括采用TF-IDF这种统计方法，用以评估步骤(2)中的某个词条对于步骤(1)文档集合中的其中一份文档的重要程度，并获取N个M维的TF-IDF文档向量；其中，词条的重要性取决于在文档中出现的次数成正比增加；TF表示词条在文档中出现的频率，IDF表示逆向文档频率。

7.根据权利要求1所述的一种基于文档聚类关键词计算方法，其特征在于：所述步骤(5)包括对于步骤(3)建立的文档向量中文档集合中N个文档和文档集合中各文档经过分词包含的M个词条中，某个词条的出现率大于0，则该文档包含对应的词条，通过词条的出现率选取文档集合的代表性词条。

8.根据权利要求7所述的一种基于文档聚类关键词计算方法，其特征在于：所述文档向量中包含第1个词条的文档有N₁个，包含第2个词条的文档数量有N₂个，以此类推，第M个词条的文档数量为N_M；将{N₁，N₂，N₃，...，N_M}从大到小排序，取排名前N*x所对应的词条，为本文档集合的代表性词条，其中，松散参数为x可根据用户设定修改。

9.根据权利要求1所述的一种基于文档聚类关键词计算方法，其特征在于：所述步骤(6)包括对文档向量做维度压缩后，执行K-Means聚类算法，需要聚集而成的类数量个数设为C；其中，分组个数C需要用户在执行聚类计算前设置好，用户可根据分类的效果进行调整。

10.根据权利要求1所述的一种基于文档聚类关键词计算方法，其特征在于：所述步骤(7)包括对C个分组的文档，再次执行步骤(4)中的操作，分别计算出每个分组的TF-IDF文档向量；对计算后文档向量排序，则可得文档分组中TF-IDF值最高词，最终组合成整个文档集合的代表性关键词。