[发明专利]一种网页信息提取方法、装置及终端

说明书

本发明实施例公开了一种网页信息提取方法，包括：解析网页信息并生成得到所述网页信息的标签树，所述标签树包括多个节点，所述标签树的各个节点分别对应于所述网页信息中的一个内容分块；获取预先建立的网页信息词库，所述网页信息词库包括多种类型的词语集合，所述词语集合中的各个词语分别对应一个权值；根据所述预先建立的网页信息词库，通过遍历所述网页信息的标签树获取所述网页信息的正文内容块；根据所述网页信息的正文内容块，对所述网页信息中的至少一个内容元素进行提取。本发明实施例还公开了网页信息提取装置及终端。采用本发明实施例，可以网页信息的提取速度。

技术领域

本发明涉及电子技术领域，尤其涉及一种网页信息提取方法、装置及终端。

背景技术

搜索引擎包括爬行器、索引器和检索器，爬行器可以在互联网中搜集信息，并将搜集的信息写入数据库；索引器可以从爬行器搜集的信息中抽取出索引项，生成文档库的索引表；检索器可以根据文档库的索引表查询出与用户提交的查询信息相关的检索文档，从而将查询出的检索文档展现给用户，因此，搜索引擎最终是否能够为用户展示出满意的搜索答案，很大因素取决于爬行器提取的信息，而爬行器的提取方法决定了爬行器提取的信息。

网页信息包括正文内容、广告信息以及邮箱登录信息等等，正文内容一般都是在网页显示界面的中间，在现有技术方案中，爬行器每次都是对整个网页信息进行搜索以提取有用信息，而事实上爬行器只需要对网页显示界面中的正文内容块进行提取，对网页显示界面中的其他诸如广告信息进行搜索必然影响检索结果和浪费用户的阅读时间。

发明内容

本发明实施例提供一种网页信息提取方法、装置及终端。可以提高网页信息的提取速度。

本发明实施例提供了一种网页信息提取方法，包括：

解析网页信息并生成得到所述网页信息的标签树，所述标签树包括多个节点，所述标签树的各个节点分别对应于所述网页信息中的一个内容分块；

获取预先建立的网页信息词库，所述网页信息词库包括多种类型的词语集合，所述词语集合中的各个词语分别对应一个权值；

根据所述预先建立的网页信息词库，通过遍历所述网页信息的标签树获取所述网页信息的正文内容块；

根据所述网页信息的正文内容块，对所述网页信息中的至少一个内容元素进行提取。

其中，所述解析网页信息生成所述网页信息的标签树之后，还包括：

根据生成得到的所述网页信息的标签树，确定所述网页信息是否为主题类型的网页信息；

若所述网页信息为主题类型的网页信息，则执行所述获取预先建立的网页信息词库的步骤。

其中，所述根据所述预先建立的网页信息词库，通过遍历所述网页信息的标签树获取所述网页信息的正文内容块包括：

从所述预先建立的网页信息词库中分别获取各个内容分块中的各个词语对应的权值；

根据所述各个内容分块中的各个词语对应的权值，分别计算所述各个内容分块的特征值，所述各个内容分块的特征值为所述各个内容分块中的多个词语对应的权值之和；

根据所述各个内容分块的特征值，获取所述网页信息中的正文内容块。

其中，所述内容元素包括多个关键词，所述根据所述网页信息的正文内容块，对所述网页信息中的至少一个内容元素进行提取包括：

获取所述正文内容块中各个词语的词频以及所述各个词语对应的权值；

根据所述正文内容块中各个词语的词频以及与所述各个词语对应的权值，从所述正文内容块中提取所述多个关键词。