[发明专利]一种数据爬取方法及装置

说明书

本发明公开了一种数据爬取方法及装置，涉及爬虫技术领域，利用在Xposed框架下编写通用的Xposed模块来优化爬取应用程序的数据信息的方法，增强Xposed模块的通用性，节约开发成本，同时轻量化Xposed模块，也有助于提高Xposed模块处理性能，本发明的主要技术方案为：守护进程获取数据爬取任务；所述守护进程将所述数据爬取任务下发至数据爬取模块，以使所述数据爬取模块从应用程序中爬取数据信息；所述守护进程接收所述数据爬取模块根据所述数据爬取任务从所述应用程序中爬取的数据信息。本发明应用于爬取应用程序上的数据信息。

技术领域

本发明涉及爬虫技术领域，尤其涉及一种数据爬取方法及装置。

背景技术

Xposed框架是一款可以在不修改Android安装包(APK，Android Package)的情况下影响程序运行(修改系统)的框架服务，基于它可以制作出许多功能强大的Xposed模块，多个Xposed模块可以在功能不冲突的情况下同时运作。

目前，可以将Xposed模块写在一个应用程序里来执行爬取该应用程序上指定数据信息的操作。对于一次爬取操作，在对Xposed模块进行编码时，开发人员会将爬取任务预先写入该Xposed模块，同时还会根据Xposed模块所在的应用程序对其进行初始化处理，进而使得Xposed模块可以在其所在的应用程序的运行环境下在应用程序的某些系统方法或者自定义方法中添加“钩子”，当应用程序调用某个方法时，Xposed模块就可以通过回调“钩子”来获取相应传入的参数数据以及运行结果数据，从而完成自动爬取其所在应用程序上指定数据信息的操作，比如：爬取图片、文字等等。

然而，对于上述编码的Xposed模块，若更改爬取任务，则需要对Xposed模块进行重新编码，又或者再更换待爬取的应用程序，则甚至还需要根据待爬取的应用程序包名对Xposed模块重新执行初始化处理，所以上述编写的Xposed模块定制化程度过高，当对于切换执行不同的爬取操作时，都需要对Xposed模块进行重新开发，导致耗费开发成本过高。

发明内容

有鉴于此，本发明提供一种数据爬取方法及装置，主要目的在于利用在Xposed框架下编写通用的Xposed模块来优化爬取应用程序的数据信息的方法，增强Xposed模块的通用性，节约开发成本，并且由于通用的Xposed模块内并没有编写爬取任务等过多逻辑所以可以更加轻量化，这也将有助于提高Xposed模块处理性能。

为了解决上述问题，本发明主要提供如下技术方案：

一方面，本发明提供了一种数据爬取方法，该方法包括：

守护进程获取数据爬取任务；

所述守护进程将所述数据爬取任务下发至数据爬取模块，以使所述数据爬取模块从应用程序中爬取数据信息；

所述守护进程接收所述数据爬取模块根据所述数据爬取任务从所述应用程序中爬取的数据信息。

可选的，所述方法还包括：

在所述守护进程获取数据爬取任务之后，所述守护进程将所述数据爬取任务发送至第三方应用，以便所述第三方应用根据所述数据爬取任务打开待爬取的应用程序；和/或，

将所述数据爬取模块与所述守护进程建立绑定关系；和/或，

将所述数据爬取模块与所述守护进程建立绑定关系，包括：

若所述守护进程将所述数据爬取任务下发至一个数据爬取模块，则将所述数据爬取模块与所述守护进程建立绑定关系；和/或，

若所述守护进程将所述数据爬取任务下发至多个数据爬取模块，则在确定执行所述数据爬取任务的数据爬取模块后，将确定执行数据爬取任务的数据爬取模块与所述守护进程建立绑定关系；和/或，