[发明专利]一种网络数据的爬取方法、装置、存储介质和终端设备

权利要求书

1.一种网络数据的爬取方法，其特征在于，包括：

在接收到服务器发送的包含标识信息的数据抓取请求之后，唤起与所述标识信息关联的APP；

控制已唤起的APP依次跳转至其各个显示页面；

每跳转至一个显示页面，识别页面上包含的控件；

提取封装在所述控件中的内容数据；

将所述内容数据返回至所述服务器。

2.根据权利要求1所述的网络数据的爬取方法，其特征在于，所述标识信息包含APP类型以及使用频度下限，所述唤起与所述标识信息关联的APP包括：

统计已安装的各个APP的使用频度；

唤起使用频度大于所述使用频度下限、且类型属于所述APP类型的APP。

3.根据权利要求1所述的网络数据的爬取方法，其特征在于，所述控制已唤起的APP依次跳转至其各个显示页面包括：

从预先构建的操作指令集中查找与所述已唤起的APP关联的操作指令；

执行查找到的操作指令，以控制所述已唤起的APP依次跳转至其各个显示页面。

4.根据权利要求1所述的网络数据的爬取方法，其特征在于，所述识别页面上包含的控件包括：

使用Android SDK中提供的uiautomatorviewer工具获取当前显示页面的控件元素；

根据获取到的控件元素确定当前显示页面上包含的各个控件以及控件类型。

5.根据权利要求4所述的网络数据的爬取方法，其特征在于，所述提取封装在所述控件中的内容数据包括：

从识别出的控件中选取控件类型符合预设条件的目标控件；

使用图片识别的方式提取所述目标控件包含的图片内容数据；

使用OCR识别的方式提取所述目标控件包含的文本内容数据。

6.根据权利要求1至5中任一项所述的网络数据的爬取方法，其特征在于，在提取封装在所述控件中的内容数据之后，还包括：

获取当前显示页面的页面路径；

构建所述内容数据和所述页面路径之间的对应关系。

7.根据权利要求6所述的网络数据的爬取方法，其特征在于，在构建所述内容数据和所述页面路径之间的对应关系之后，还包括：

获取输入的搜索关键字；

从提取到的所有内容数据中查找包含所述搜索关键字的目标内容数据；

确定所述目标内容数据所对应的目标APP以及目标页面路径；

启动所述目标APP，并跳转至所述目标页面路径指向的显示页面。

8.一种网络数据的爬取装置，其特征在于，包括：

APP唤起模块，用于在接收到服务器发送的包含标识信息的数据抓取请求之后，唤起与所述标识信息关联的APP；

页面跳转控制模块，用于控制已唤起的APP依次跳转至其各个显示页面；

控件识别模块，用于每跳转至一个显示页面，识别页面上包含的控件；

数据提取模块，用于提取封装在所述控件中的内容数据；

数据返回模块，用于将所述内容数据返回至所述服务器。

9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，其特征在于，所述计算机可读指令被处理器执行时实现如权利要求1至7中任一项所述的网络数据的爬取方法的步骤。

10.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，其特征在于，所述处理器执行所述计算机可读指令时实现如下步骤：

在接收到服务器发送的包含标识信息的数据抓取请求之后，唤起与所述标识信息关联的APP；

控制已唤起的APP依次跳转至其各个显示页面；

每跳转至一个显示页面，识别页面上包含的控件；

提取封装在所述控件中的内容数据；

将所述内容数据返回至所述服务器。