[发明专利]一种抓取网页内容的方法及装置

权利要求书

1.一种抓取网页内容的方法，其特征在于，包括：

获取待抓取网页的URL；

在抓取规则库中，获取所述待抓取网页的URL对应的抓取规则；

当无法获取到对应于所述待抓取网页的URL的抓取规则时，对所述待抓 取网页中的内容进行分析，并对满足抓取条件的所述待抓取网页生成抓取规 则；

将所述待抓取网页的URL以及对应于生成的所述待抓取网页抓取规则在 所述抓取规则库中进行更新。

2.如权利要求1所述的方法，其特征在于，当无法获取到对应所述待抓 取网页URL的抓取规则时，对所述待抓取网页中的内容进行分析，并对满足 抓取条件的所述待抓取网页生成抓取规则，包括：

对所述待抓取网页中包含的内容进行分词划分，生成分词组；

计算所述分词组与每一个预先建立的主题语义库之间的相似度；

当计算得到的所述分词组与任一所述主题语义库之间的相似度大于等于 第一预设阈值时，对所述待抓取网页对应的抓取规则进行生成。

3.如权利要求2所述的方法，其特征在于，当计算得到的所述分词组与 任一所述主题语义库之间的相似度大于等于第一预设阈值时，对所述待抓取网 页对应的抓取规则进行生成，具体包括：

获取所述计算得到的相似度所对应的至少一个主题语义库；

获取所述待抓取网页对应的HTML文档，将所述HTML文档中最高层级 的分段标签作为根节点，其他层级对应的分段标签作为分节点，构建树状结构；

由根节点开始，逐层遍历所述树状结构；

在所述树状结构中，当存在任一分节点对应的文本内容与所述至少一个主 题语义库之间的相似度大于等于第二预设阈值时，获取所述任一分节点的标 识；

将所述任一分节点的标识及其对应的分段标签，作为所述待抓取网页的抓 取规则。

4.如权利要求2或3所述的方法，其特征在于，将所述待抓取网页的URL 以及对应于生成的所述待抓取网页抓取规则在所述抓取规则库中进行更新之 后，进一步包括：

将所述待抓取网页对应的分词组中包含的指定词性的分词组保存至主题 内容库中；

按照预设周期统计所述主题内容库中，每一个分词组的出现频率；

从所述主题内容库中的所有分词组中，选取出现频率大于等于预设频率阈 值的分词组，存储至所述主题语义库中。

5.如权利要求1-3任一项所述的方法，其特征在于，所述抓取规则库的 生成方法，包括：

获取样本网页的URL；

建立所述样本网页对应的预设抓取规则与所述样本网页的URL之间的对 应关系，将所述对应关系存储至抓取规则库中；并

获取样本网页中包含的样本内容以及所述样本网页类型；

根据所述样本网页中包含的样本内容，对所述样本内容进行分词划分，将 生成的每一个样本分词组均作为特征值；

将所有特征值存储至与所述样本网页类型相对应的预设的主题语义库中。

6.一种抓取网页内容的装置，其特征在于，包括：

第一获取单元，用于获取待抓取网页的URL；

第二获取单元，用于在抓取规则库中，获取所述待抓取网页的URL对应 的抓取规则；

抓取规则生成单元，用于当无法获取到对应于所述待抓取网页的URL的 抓取规则时，对所述待抓取网页中的内容进行分析，并对满足抓取条件的所述 待抓取网页生成抓取规则；

更新单元，用于将所述待抓取网页的URL以及对应于生成的所述待抓取 网页抓取规则在所述抓取规则库中进行更新。

7.如权利要求6所述的装置，其特征在于，所述抓取规则生成单元，具 体用于：

对所述待抓取网页中包含的内容进行分词划分，生成分词组；计算所述分 词组与每一个预先建立的主题语义库之间的相似度；当计算得到的所述分词组 与任一所述主题语义库之间的相似度大于等于第一预设阈值时，对所述待抓取 网页对应的抓取规则进行生成。