[发明专利]一种抓取网页内容的方法及装置

说明书

技术领域

本发明涉及计算机应用技术领域，尤其涉及一种抓取网页内容的方法及装 置。

背景技术

网络爬虫是搜索引擎技术的基础组成部分。网络爬虫技术是从一个或若干 初始网页的URL(UniformResourceLocator，统一资源定位符)开始，获得初始 网页上的URL，在抓取网页信息的过程中，根据网页的抓取规则，不断从当前 页面上抽取新的URL放入队列，直到满足某种停止条件。然后将抓取到的网 页信息存储在搜索引擎的服务器中，从而可以加快用户的搜索速度。

目前，在采用网络爬虫技术对网页进行抓取过程中，抓取规则为人工设置， 针对不同类型的网页，需要人工设置相应的抓取规则，当需要抓取的网页类型 众多时，将耗费大量的人力去设置抓取规则，从而增加了网页内容抓取的复杂 度。

由此可见，目前在对不同类型网页内容进行抓取的过程中，存在网页内容 抓取复杂度高，以及网页内容抓取效率低的问题。

发明内容

本发明实施例提供一种抓取网页内容的方法及装置，用以解决目前在对不 同类型网页内容进行抓取的过程中，存在网页内容抓取复杂度高，以及网页内 容抓取效率低的问题。

本发明实施例提供的具体技术方案如下：

一种抓取网页内容的方法，包括：

获取待抓取网页的URL；

在抓取规则库中，获取所述待抓取网页的URL对应的抓取规则；

当无法获取到对应于所述待抓取网页的URL的抓取规则时，对所述待抓 取网页中的内容进行分析，并对满足抓取条件的所述待抓取网页生成抓取规 则；

将所述待抓取网页的URL以及对应于生成的所述待抓取网页抓取规则在 所述抓取规则库中进行更新。

可选的，对所述待抓取网页中包含的内容进行分词划分，生成分词组；计 算所述分词组与每一个预先建立的主题语义库之间的相似度；当计算得到的所 述分词组与任一所述主题语义库之间的相似度大于等于第一预设阈值时，对所 述待抓取网页对应的抓取规则进行生成。

可选的，获取所述计算得到的相似度所对应的至少一个主题语义库；获取 所述待抓取网页对应的HTML文档，将所述HTML文档中最高层级的分段标 签作为根节点，其他层级对应的分段标签作为分节点，构建树状结构；由根节 点开始，逐层遍历所述树状结构；在所述树状结构中，当存在任一分节点对应 的文本内容与所述至少一个主题语义库之间的相似度大于等于第二预设阈值 时，获取所述任一分节点的标识；将所述任一分节点的标识及其对应的分段标 签，作为所述待抓取网页的抓取规则。

进一步的，将所述待抓取网页的URL以及对应于生成的所述待抓取网页 抓取规则在所述抓取规则库中进行更新之后，将所述待抓取网页对应的分词组 中包含的指定词性的分词组保存至主题内容库中；按照预设周期统计所述主题 内容库中，每一个分词组的出现频率；从所述主题内容库中的所有分词组中， 选取出现频率大于等于预设频率阈值的分词组，存储至所述主题语义库中。

可选的，所述抓取规则库的生成方法，包括：获取样本网页的URL；建立 所述样本网页对应的预设抓取规则与所述样本网页的URL之间的对应关系， 将所述对应关系存储至抓取规则库中；并获取样本网页中包含的样本内容以及 所述样本网页类型；根据所述样本网页中包含的样本内容，对所述样本内容进 行分词划分，将生成的每一个样本分词组均作为特征值；将所有特征值存储至 与所述样本网页类型相对应的预设的主题语义库中

一种抓取网页内容的装置，包括：

第一获取单元，用于获取待抓取网页的URL；

第二获取单元，用于在抓取规则库中，获取所述待抓取网页的URL对应 的抓取规则；

抓取规则生成单元，用于当无法获取到对应于所述待抓取网页的URL的 抓取规则时，对所述待抓取网页中的内容进行分析，并对满足抓取条件的所述 待抓取网页生成抓取规则；

更新单元，用于将所述待抓取网页的URL以及对应于生成的所述待抓取 网页抓取规则在所述抓取规则库中进行更新。