[发明专利]一种移动APP数据采集方法

说明书

本发明公开一种移动APP数据采集方法，涉及数据采集技术领域；根据APP中的网络请求数据包，获取签名字段，在APP源码搜索签名字段，获取签名字段的签名算法的相关代码及方法，若未获取签名算法的相关代码及方法，则在APP源码搜索网络请求的关键字，获取签名字段的签名算法的相关代码及方法，利用插桩工具验证签名算法的相关代码及方法，并获取分析签名的原始参数，利用签名算法的HOOK插件及原始参数对APP需要签名的数据进行签名，通过爬虫工具利用签名后数据发起网络请求进行数据采集。

技术领域

本发明公开一种采集方法，涉及数据采集技术领域，具体地说是一种移动APP数据采集方法。

背景技术

网络爬虫是当今互联网使用非常广泛的技术之一，目前已经应用到了金融、房产、贸易和科技等诸多领域。而在数据时代，网络数据是很多创业型公司基础数据的重要来源，无论是大数据、数据分析还是机器学习，都离不开网络爬虫为其采集基础数据。

但随着近些年互联网的迅猛发展，流量使用和用户习惯已从网页端转移到手机等移动设备上，并且现有移动设备上的APP通常需要签名验证才能获得相应的数据反馈，虽如果采用如Appium、Airtest Project等工具虽然能模拟真实的用户操作，但是对本地的资源消耗巨大，且采集数据时间较长，不利于数据采集。

发明内容

本发明针对现有技术的问题，提供一种移动APP数据采集方法，本发明提出的具体方案是：

一种移动APP数据采集方法：根据APP中的网络请求数据包，获取签名字段，在APP源码搜索签名字段，获取签名字段的签名算法的相关代码及方法，

若未获取签名算法的相关代码及方法，则在APP源码搜索网络请求的关键字，获取签名字段的签名算法的相关代码及方法，

利用插桩工具验证签名算法的相关代码及方法，并获取分析签名的原始参数，

利用签名算法的HOOK插件及原始参数对APP需要签名的数据进行签名，通过爬虫工具利用签名后数据发起网络请求进行数据采集。

优选地，所述的一种移动APP数据采集方法中在APP的设备上启动VPN，设置网络代理，通过将网络流量嫁接到PC端，获取APP的网络请求数据包。

优选地，所述的一种移动APP数据采集方法中利用JADX打开APP的源码并在APP源码搜索签名字段。

优选地，所述的一种移动APP数据采集方法中利用签名字段的签名算法，使用Xposed框架组装HOOK插件，并将安装包安装至移动设备。

一种移动APP数据采集系统：包括获取模块、搜索模块、验证模块及采集模块，

获取模块根据APP中的网络请求数据包，获取签名字段，搜索模块在APP源码搜索签名字段，获取签名字段的签名算法的相关代码及方法，

若未获取签名算法的相关代码及方法，搜索模块则在APP源码搜索网络请求的关键字，获取签名字段的签名算法的相关代码及方法，

验证模块利用插桩工具验证签名算法的相关代码及方法，并获取分析签名的原始参数，

采集模块利用签名算法的HOOK插件及原始参数对APP需要签名的数据进行签名，通过爬虫工具利用签名后数据发起网络请求进行数据采集。

优选地，所述的一种移动APP数据采集系统中在APP的设备上启动VPN，设置网络代理，通过将网络流量嫁接到PC端，获取APP的网络请求数据包。

优选地，所述的一种移动APP数据采集系统中利用JADX打开APP的源码并在APP源码搜索签名字段。