[发明专利]一种数据爬取方法及装置

权利要求书

1.一种数据爬取方法，其特征在于，所述方法包括：

守护进程获取数据爬取任务；

所述守护进程将所述数据爬取任务下发至数据爬取模块，以使所述数据爬取模块从应用程序中爬取数据信息；

所述守护进程接收所述数据爬取模块根据所述数据爬取任务从所述应用程序中爬取的数据信息。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在所述守护进程获取数据爬取任务之后，所述守护进程将所述数据爬取任务发送至第三方应用，以便所述第三方应用根据所述数据爬取任务打开待爬取的应用程序；和/或，

将所述数据爬取模块与所述守护进程建立绑定关系；和/或，

将所述数据爬取模块与所述守护进程建立绑定关系，包括：

若所述守护进程将所述数据爬取任务下发至一个数据爬取模块，则将所述数据爬取模块与所述守护进程建立绑定关系；和/或，

若所述守护进程将所述数据爬取任务下发至多个数据爬取模块，则在确定执行所述数据爬取任务的数据爬取模块后，将确定执行数据爬取任务的数据爬取模块与所述守护进程建立绑定关系；和/或，

所述守护进程接收所述数据爬取模块根据所述数据爬取任务从所述应用程序中爬取的数据信息，包括：

所述守护进程接收与其存在绑定关系的所述数据爬取模块发送的爬取到的数据信息，以便所述守护进程将所述爬取到的数据信息上报至服务端。

3.根据权利要求1所述的方法，其特征在于，所述数据爬取模块根据所述数据爬取任务爬取应用程序的数据信息，包括：

所述数据爬取模块对所述数据爬取任务进行解析得到对应的任务信息，所述任务信息中至少包含任务标识以及对应的预设配置文件，所述预设配置文件用于对所述数据爬取模块进行初始化处理以及控制所述数据爬取模块执行爬取应用程序上指定数据信息的操作；

根据所述预设配置文件内存储的应用程序的包名，确定待爬取的应用程序；

根据所述预设配置文件内存储的任务类型，确定待爬取的数据内容；

所述数据爬取模块将预置钩子添加至待爬取的应用程序的指定位置，并通过所述预置钩子，在所述待爬取的应用程序的指定位置爬取与所述待爬取的数据内容相对应的目标数据信息。

4.根据权利要求2所述的方法，其特征在于，

在所述守护进程将所述数据爬取任务下发至多个数据爬取模块之后，所述数据爬取模块判断是否执行所述数据爬取任务对应的爬取操作，包括：

所述数据爬取模块根据所述数据爬取任务，获取所述待爬取的应用程序的包名；

所述数据爬取模块获取其对应的指定的应用程序的包名；

所述数据爬取模块判断所述待爬取的应用程序的包名与所述指定的应用程序的包名是否相同；

若相同，则确定所述数据爬取模块执行爬取操作。

5.根据权利要求1至4中任一项所述的方法，其特征在于，在所述守护进程获取数据爬取任务之前，所述方法还包括：

将所述守护进程与预设监控进程进行绑定，并设定所述守护进程和所述预设监控进程的优先级，所述预设监控进程用于监控所述守护进程的生命周期，所述守护进程的优先级高于前端服务进程的优先级、且低于所述预设监控进程的优先级；

当所述预设监控进程监控到与所述守护进程存在通信连接的进程数量小于预设阈值时，则重启所述守护进程。

6.根据权利要求2所述的方法，其特征在于，所述方法还包括：

若在预设时间内，所述守护进程未接收到所述数据爬取模块上报的所述爬取到的数据信息，则确定本次数据爬取任务爬取异常；和/或，

当所述守护进程接收到所述数据爬取模块上报的报错信息时，确定本次数据爬取任务爬取异常；和/或，

在确定数据爬取任务爬取异常时，所述守护进程重新向所述数据爬取模块下发所述数据爬取任务。