[发明专利]对网页中高频关键词进行聚类的方法及装置

权利要求书

1.一种对多个网页中高频关键词进行聚类的方法，其特征在于，包括：

抓取所述多个网页对应的多个网页文档；

对抓取到的所述多个网页文档中的各个网页文档进行分词以获取多个词语；

确定各个网页文档对应的关键词组合，其中，所述关键词组合包括表征对应网页文档内容的关键词；

从多个关键词组合中获取高频关键词，其中，所述高频关键词为多个关键词组合中在预设时间周期内满足预设条件的关键词；以及

按相似度对所述高频关键词进行聚类，以获得同类高频关键词。

2.根据权利要求1所述的方法，其特征在于，确定各个网页文档对应的关键词组合包括：

随机组成多个当前代词语组合；

计算所述多个当前代词语组合与所述网页文档的匹配程度，获得当前代最优个体；

对所述多个当前代词语组合进行重组操作，得到多个新一代词语组合；

计算所述多个新一代词语组合与所述网页文档的多个新匹配程度，获得新一代最优个体；

判断所述新一代最优个体对应的新匹配程度是否满足预设匹配条件；以及

在所述新匹配程度不满足所述预设匹配条件时，重复所述重组操作，在所述新匹配程度满足所述预设匹配条件时，将所述新一代最优个体确定为所述关键词组合。

3.根据权利要求2所述的方法，其特征在于，计算所述词语组合与所述网页文档的匹配程度包括：

获取网页文档中的词语总数量；

根据词频和反向文档频计算各词语的词频值；

根据所述词语组合中各词语的词频值和所述网页文档的词语总数量对所述词语组合进行矢量化，得到词语组合矢量；

根据所述网页文档中各词语的词频值和所述网页文档的词语总数量对所述网页文档进行矢量化，得到文档矢量；以及

根据所述词语组合矢量和所述文档矢量的矢量参数计算所述词语组合的个体适应度，其中，所述个体适应度作为所述匹配程度的依据。

4.根据权利要求1所述的方法，其特征在于，从多个关键词组合中获取高频关键词包括：

分别获取所述多个网页文档对应的所述关键词组合中所述多个关键词的访问数量，所述访问数量为在所述预设时间周期内所述关键词组合对应网页文档的独立访客数量；以及

将所述访问数量满足预设数量条件的关键词确定为所述多个网页文档的高频关键词。

5.根据权利要求1所述的方法，其特征在于，按相似度对所述高频关键词进行聚类包括：

分别获取所述多个网页文档对应的所述关键词组合中所述多个关键词的访问数量，所述访问数量为在所述预设时间周期内所述关键词组合对应网页文档的独立访客数量；

获取各关键词的访问数量在所述预设时间周期内随时间的变化趋势；以及

将所述变化趋势的相似系数满足预设系数条件的多个关键词作为同类高频关键词。

6.根据权利要求1所述的方法，其特征在于，在按相似度对所述高频关键词进行聚类之后，所述方法还包括：

将所述同类高频关键词对应的网页文档以话题的形式推送至用户。

7.根据权利要求1所述的方法，其特征在于，抓取所述多个网页对应的所述多个网页文档中包括：

确定各个网页中各行的字数；

计算各个网页的字数的标准差；以及

在一个网页中，当连续多行的字数大于所述标准差时，确定字数大于标准差的连续多行的文字为网页文档。

8.一种对多个网页中高频关键词进行聚类的装置，其特征在于，包括：

抓取单元，用于抓取所述多个网页对应的多个网页文档；

分词单元，用于对抓取到的所述多个网页文档中的各个网页文档进行分词以获取多个词语；

确定单元，用于确定各个网页文档对应的关键词组合，其中，所述关键词组合包括表征对应网页文档内容的关键词；

获取单元，用于从多个关键词组合中获取高频关键词，其中，所述高频关键词为多个关键词组合中在预设时间周期内满足预设条件的关键词；以及

聚类单元，用于按相似度对所述高频关键词进行聚类，以获得同类高频关键词。