[发明专利]网页内容的爬取方法、装置、计算机设备及存储介质

权利要求书

1.一种网页内容的爬取方法，其特征在于，包括：

获取种子URL；

根据所述种子URL爬取目标网页；

通过预设的JSOUP文本解析器对所述目标网页进行解析处理，得到解析后的目标网页；

通过预设的JSONPTAH内容抽取引擎中URL与内容抽取逻辑的对应关系从所述解析后的目标网页中抽取目标内容；

将所述目标内容存储至资源库中。

2.根据权利要求1所述的方法，其特征在于，所述根据所述种子URL爬取目标网页，包括：

启动预设的线程池，并将所述种子URL放入所述线程池中；

通过所述线程池根据所述种子URL爬取目标网页。

3.根据权利要求2所述的方法，其特征在于，所述通过所述线程池根据所述种子URL爬取目标网页，包括：

通过所述线程池向所述种子URL对应的第一网站发送第一网页获取请求并接收所述第一网站返回的第一网页；

从所述第一网页中提取非种子URL；

通过所述线程池向所述非种子URL对应的第二网站发送第二网页获取请求并接收所述第二网站返回的第二网页；

将所述第一网页以及所述第二网页确定为所述目标网页。

4.根据权利要求3所述的方法，其特征在于，所述解析后的目标网页包括解析后的第一网页以及解析后的第二网页，所述通过预设的JSONPTAH内容抽取引擎中URL与内容抽取逻辑的对应关系从所述解析后的目标网页中抽取目标内容，包括：

通过所述JSONPTAH内容抽取引擎中URL与内容抽取逻辑的对应关系，确定与所述种子URL对应的目标内容抽取逻辑；

根据所述目标内容抽取逻辑从所述解析后的第一网页中抽取第一目标内容；

通过所述JSONPTAH内容抽取引擎中URL与内容抽取逻辑的对应关系，确定与所述非种子URL对应的非目标内容抽取逻辑；

根据所述非目标内容抽取逻辑从所述解析后的第二网页中抽取第二目标内容；

将所述第一目标内容以及所述第二目标内容确定为所述目标内容。

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述获取种子URL，包括：

根据ES数据库中存储的URL与任务调度逻辑的对应关系确定当前时间对应的URL；

将所述当前时间对应的URL确定为所述种子URL。

6.根据权利要求5所述的方法，其特征在于，所述将所述目标内容存储至资源库中，包括：

确定所述目标内容对应的URL；

根据所述对应的URL以及所述资源库中URL与内容处理逻辑的对应关系，确定所述目标内容对应的目标内容处理逻辑；

根据所述目标内容处理逻辑确定所述目标内容的各描述字段；

在所述目标内容中提取各描述字段所对应的描述内容；

建立所述描述字段与所述描述内容的索引关系；

保存所述索引关系以及所述描述内容至所述资源库中。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

获取新增URL以及所述新增URL分别对应的新增任务调度逻辑、新增内容抽取逻辑以及新增内容处理逻辑；

根据所述新增URL与所述新增任务调度逻辑的对应关系以及所述ES数据库的动态映射模块，动态更新所述URL与任务调度逻辑的对应关系；

根据所述新增URL与所述新增内容抽取逻辑的对应关系，动态更新所述JSONPTAH内容抽取引擎中URL与内容抽取逻辑的对应关系；

根据所述新增URL与所述新增内容处理逻辑的对应关系以及所述资源库的动态映射模块，动态更新所述URL与内容处理逻辑的对应关系。