[发明专利]一种配置爬虫的方法与设备

权利要求书

1.一种配置爬虫的方法，其中，所述方法包括：

生成爬虫的配置模板，并保存所述配置模板；

根据所述配置模板以及自定义配置信息，生成配置文件；

执行所述配置文件对目标应用进行爬取。

2.根据权利要求1所述的方法，其中，所述方法基于Scrapy-redis框架；

其中，所述配置模板包括：

关于遍历所述目标应用的所有URL的配置信息；

关于提取所述目标应用的item数据的配置信息。

3.根据权利要求1或2所述的方法，其中，所述方法包括：

在从服务器端生成爬虫的配置模板，并在从服务器端保存所述配置模板；

在从服务器端根据所述配置模板以及自定义配置信息，生成配置文件；

在从服务器端执行所述配置文件对目标应用进行爬取。

4.一种在主服务器端用于分布式爬虫的方法，其中，所述方法包括：

向从服务器分配爬虫任务，其中，所述爬虫任务包括Request和URL；

接收所述从服务器返回的目标数据，并存储所述目标数据；

接收所述从服务器返回的Request，对所述从服务器返回的Request进行去重处理，将去重后的Request作为所述爬虫任务分配给所述从服务器。

5.一种在从服务器端用于分布式爬虫的方法，其中，所述方法包括：

接收主服务器分配的爬虫任务，其中，所述爬虫任务包括Request和URL；

基于接收到的Request爬取得到目标数据，并将所述目标数据返回至所述主服务器；

基于接收到的URL解析得到Request，并将解析得到的Request返回至所述主服务器。

6.一种配置爬虫的设备，其中，所述设备包括：

配置模板生成模块，用于生成爬虫的配置模板，并保存所述配置模板；

配置文件生成模块，用于根据所述配置模板以及自定义配置信息，生成配置文件；

数据爬取模块，用于执行所述配置文件对目标应用进行爬取。

7.一种用于分布式爬虫的主服务器，其中，所述主服务器包括：

任务分配模块，用于向从服务器分配爬虫任务，其中，所述爬虫任务包括Request和URL；

数据存储模块，用于接收所述从服务器返回的目标数据，并存储所述目标数据；

Request去重分配模块，用于接收所述从服务器返回的Request，对所述从服务器返回的Request进行去重处理，将去重后的Request作为所述爬虫任务分配给所述从服务器。

8.一种用于分布式爬虫的从服务器，其中，所述从服务器包括：

任务接收模块，用于接收主服务器分配的爬虫任务，其中，所述爬虫任务包括Request和URL；

Request执行模块，用于基于接收到的Request爬取得到目标数据，并将所述目标数据返回至所述主服务器；

URL解析模块，用于基于接收到的URL解析得到Request，并将解析得到的Request返回至所述主服务器。

9.一种计算设备，其中，该设备包括用于存储计算机程序指令的存储器和用于执行计算机程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发所述设备执行权利要求1至5中任一项所述的方法。

10.一种计算机可读介质，其上存储有计算机程序指令，所述计算机可读指令可被处理器执行以实现如权利要求1至5中任一项所述的方法。