[发明专利]网页内容的爬取方法、装置、计算机设备及存储介质

说明书

本发明实施例公开了一种网页内容的爬取方法、装置、计算机设备及存储介质。所述方法包括：获取种子URL；然后根据所述种子URL爬取目标网页；再通过预设的JSOUP文本解析器对所述目标网页进行解析处理，得到解析后的目标网页；通过预设的JSONPTAH内容抽取引擎中URL与内容抽取逻辑的对应关系从所述解析后的目标网页中抽取目标内容；最后将所述目标内容存储至资源库中。本方案中的JSOUP文本解析器可以支持多种类型文本协议的解析，JSONPTAH内容抽取引擎可以提取通过JSOUP文本解析器解析后的内容。通过实施本发明实施例的方法可提高爬取场景的覆盖率。

技术领域

本发明涉及互联网技术领域，尤其涉及一种网页内容的爬取方法、装置、计算机设备及存储介质。

背景技术

网络爬虫(Web crawler)，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本，它们被广泛用于互联网搜索引擎或其他类似网站，可以自动采集所有其能够访问到的页面内容，以获取或更新这些网站的内容和检索方式。

传统的爬虫场景中常使用文档对象模型(Document Object Model，DOM)中的标准应用程序接口(Application Program Interface，API)来进行文本内容的解析及抽取。基于DOM的传统文档解析器仅支持超文本标记语言(HyperText Markup Language，HTML)协议，不同的场景的网页往往使用不同的协议，所以使用传统的爬取方法存在爬取场景覆盖率差的问题。

发明内容

本发明实施例提供了一种网页内容的爬取方法、装置、计算机设备及存储介质，可以提高爬取场景的覆盖率。

第一方面，本发明实施例提供了一种网页内容的爬取方法，其包括：

获取种子URL；

根据所述种子URL爬取目标网页；

通过预设的JSOUP文本解析器对所述目标网页进行解析处理，得到解析后的目标网页；

通过预设的JSONPTAH内容抽取引擎中URL与内容抽取逻辑的对应关系从所述解析后的目标网页中抽取目标内容；

将所述目标内容存储至资源库中。

第二方面，本发明实施例还提供了一种网页内容的爬取装置，其包括：

第一获取单元，用于获取种子URL；

爬取单元，用于根据所述种子URL爬取目标网页；

解析单元，用于通过预设的JSOUP文本解析器对所述目标网页进行解析处理，得到解析后的目标网页；

抽取单元，用于通过预设的JSONPTAH内容抽取引擎中URL与内容抽取逻辑的对应关系从所述解析后的目标网页中抽取目标内容；

存储单元，用于将所述目标内容存储至资源库中。

第三方面，本发明实施例还提供了一种计算机设备，其包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时可实现上述方法。