[发明专利]一种确定APP责任主体的方法及系统

权利要求书

1.一种确定应用程序APP责任主体的系统，其特征在于，包括：配置模块、数据采集模块、域名提取模块以及数据分析模块；

用户通过配置模块配置APP爬取任务并下发给数据采集模块，APP爬取任务的信息包括待爬取的网址、APP应用市场名称、XML路径语言Xpath解析字段以及爬取周期；

数据采集模块解析接收到的APP爬取任务，首先爬取APP应用信息以及下载APP的应用程序包APK存储在APP应用信息库中；其次，数据采集模块开启爬虫进程进行网站数据采集，获取网站信息以及网站的企业主体；所述的APP应用信息包括：APP名称、主包名称、开发者信息、APK下载地址、发布时间、下载量以及版本信息；并下载APP的APK；将所采集的信息及下载的APK存入APP应用信息库；

域名提取模块定期扫描APP应用信息库，当有新的APP应用信息时，获取相应的APK，进行APP信息采集，包括：(1)模拟APP运行并抓包分析，获取APP在运行期间访问的统一资源定位符URL链接；(2)基于沙盒APP分析静态源码，提取APP中包含的所有域名；域名提取模块从获取的URL链接中提取域名；域名提取模块对提取的各域名，检测是否属于第三方软件开发工具包SDK库中的域名，若是过滤掉，若不是，将域名推送给数据采集模块，调用爬虫进程进行网站数据采集；

数据分析模块接收数据采集模块爬取的APP应用信息、域名提取模块提取的域名、根据域名爬取的网站信息以及域名的企业主体，对域名的出现次数进行统计，并为不同网站获得的企业主体设置不同权重，将权重与对应的域名出现次数相乘作为企业主体的优先级数值，优先级数值越大，表示企业主体是APP的责任主体的概率越大；根据计算的优先级数值，对企业主体进行排序，保留超过阈值的企业主体，作为APP的责任主体。

2.根据权利要求1所述的系统，其特征在于，所述的数据采集模块开启分布式爬虫进程进行数据爬去，同时记录任务的信息，包括：开始时间、爬取进度、爬取数量、是否异常、是否完成、结束时间以及异常日志；当爬虫出现问题时，将根据异常日志从断点继续爬取。

3.根据权利要求1所述的系统，其特征在于，所述的第三方SDK库预先设置，其中包含公共SDK域名，通过爬取SDK资源网站以及查找域名在不同应用程序出现的频次来判断域名是否为公共SDK域名，从而构建第三方SDK库。

4.根据权利要求1所述的系统，其特征在于，所述的数据采集模块在开启爬虫进程进行网站数据采集时，爬虫进行首先判断域名是否合法，若不合法不进行爬取，若合法，判断域名是否有对应的网站，若有，爬取网站源码，分析源码发现对应的企业主体，若不存在网站，则通过在记录企业信息的网站上根据域名爬取对应的企业主体。

5.根据权利要求1或4所述的系统，其特征在于，所述的数据分析模块，在计算企业主体的优先级时，设置通过在记录企业信息的网站上查询的企业主体的权重为0.5，通过在其他网站查询出来的企业主体的权重为0.1。

6.根据权利要求1或4所述的系统，其特征在于，所述的数据采集模块采用异步分布式爬虫程序，爬虫程序包含服务端和客户端两部分：

(1)服务端启动爬虫规则维护线程，执行两个定时任务，分别为：每5小时将规则爬取状态重置；每1分钟同步规则到Redis规则队列中，供客户端爬虫获取规则；

(2)客户端发送规则获取指令给服务端；服务端若没有规则信息，则返回等待指令给客户端；服务端如果有规则信息，客户端从Redis规则队列中取出规则，触发爬取指令，对数据进行爬取。