[发明专利]对网页中高频关键词进行聚类的方法及装置

说明书

技术领域

本发明涉及互联网领域，具体而言，涉及一种对网页中高频关键词进行聚类的方法及装置。

背景技术

在互联网信息急剧增加的情况下，如何发现最有价值的信息是尚未解决的问题。因为信息会通过多种渠道和形式发布，甚至出现同一条信息有不同描述的情况，为读者准确获取某类别的信息带来一定障碍。

为了有效获取不同类型的信息，现有技术会对多篇网页文档进行聚类，然而，现有技术的聚类方式是基于网页文档全文的，由于网页文档全文的信息量较大，对全文的聚类需耗费较大工作量；同时，全文里涉及内容较多，一些词语并不能反映文档的主要内容，这些词语会影响文档聚类的准确性。因此，对通过全文对网页文档进行聚类不能满足对信息的聚类要求。

发明内容

本发明实施例提供一种对网页中高频关键词进行聚类的方法和装置，以提供对网页文档更准确的分类方案。

本发明为了实现上述目的，提供一种对多个网页中高频关键词进行聚类的方法，包括：抓取所述多个网页对应的多个网页文档；对抓取到的所述多个网页文档中的各个网页文档进行分词以获取多个词语；确定各个网页文档对应的关键词组合，其中，所述关键词组合包括表征对应网页文档内容的关键词；从多个关键词组合中获取高频关键词，其中，所述高频关键词为多个关键词组合中在预设时间周期内满足预设条件的关键词；以及按相似度对所述高频关键词进行聚类，以获得同类高频关键词。

在一个实施例中，确定各个网页文档对应的关键词组合包括：随机组成多个当前代词语组合；计算所述多个当前代词语组合与所述网页文档的匹配程度，获得当前代最优个体；对所述多个当前代词语组合进行重组操作，得到多个新一代词语组合；计算所述多个新一代词语组合与所述网页文档的多个新匹配程度，获得新一代最优个体；判断所述新一代最优个体对应的新匹配程度是否满足预设匹配条件；以及在所述新匹配程度不满足所述预设匹配条件时，重复所述重组操作，在所述新匹配程度满足所述预设匹配条件时，将所述新一代最优个体确定为所述关键词组合。

在一个实施例中，计算所述词语组合与所述网页文档的匹配程度包括：获取网页文档中的词语总数量；根据词频和反向文档频计算各词语的词频值；根据所述词语组合中各词语的词频值和所述网页文档的词语总数量对所述词语组合进行矢量化，得到词语组合矢量；根据所述网页文档中各词语的词频值和所述网页文档的词语总数量对所述网页文档进行矢量化，得到文档矢量；以及根据所述词语组合矢量和所述文档矢量的矢量参数计算所述词语组合的个体适应度，其中，所述个体适应度作为所述匹配程度的依据。

在一个实施例中，从多个关键词组合中获取高频关键词包括：分别获取所述多个网页文档对应的所述关键词组合中所述多个关键词的访问数量，所述访问数量为在所述预设时间周期内所述关键词组合对应网页文档的独立访客数量；将所述访问数量满足预设数量条件的关键词确定为所述多个网页文档的高频关键词。

在一个实施例中，按相似度对所述高频关键词进行聚类包括：分别获取所述多个网页文档对应的所述关键词组合中所述多个关键词的访问数量，所述访问数量为在所述预设时间周期内所述关键词组合对应网页文档的独立访客数量；获取各关键词的访问数量在所述预设时间周期内随时间的变化趋势；将所述变化趋势的相似系数满足预设系数条件的多个关键词作为同类高频关键词。

在一个实施例中，在按相似度对所述高频关键词进行聚类之后，所述方法还包括：将所述同类高频关键词对应的网页文档以话题的形式推送至用户。

在一个实施例中，抓取所述多个网页对应的所述多个网页文档中包括：确定各个网页中各行的字数；计算各个网页的字数的标准差；在一个网页中，当连续多行的字数大于所述标准差时，确定字数大于标准差的连续多行的文字为网页文档。

本发明为了实现上述目的，提供一种对多个网页中高频关键词进行聚类的装置，包括：抓取单元，用于抓取所述多个网页对应的多个网页文档；分词单元，用于对抓取到的所述多个网页文档中的各个网页文档进行分词以获取多个词语；确定单元，用于确定各个网页文档对应的关键词组合，其中，所述关键词组合包括表征对应网页文档内容的关键词；获取单元，用于从多个关键词组合中获取高频关键词，其中，所述高频关键词为多个关键词组合中在预设时间周期内满足预设条件的关键词；聚类单元，用于按相似度对所述高频关键词进行聚类，以获得同类高频关键词。