[发明专利]一种应用程序的页面内容及网络行为的检测方法及装置

说明书

技术领域

本发明涉及互联网领域，特别涉及一种应用程序的页面内容及网络行为的检测方法及装置。

背景技术

随着移动互联网的发展，移动互联网已经渗入到人们日常生活的方方面面，已经成为普通大众获取咨询信息的主要渠道之一。移动互联网上的咨询内容也在人们的日常生活中发挥了很重要的影响，不仅仅左右着受众生活中的判断，同时也对受众的心理和生理产生了一些潜移默化的作用。因此移动互联网也会被某些不法分子利用，通过传播淫秽色情、暴力或者反动信息，从中牟利或者达到某些不可告人的目的。以此来看，一个健康向上的移动互联网络环境将对社会产生巨大的积极正面的影响。因此，目前网络监管需要一套成熟可靠的移动互联网内容监管技术，即移动互联网的内容获取及检测技术。

目前，移动互联网的内容获取及检测技术主要通过网络爬虫实现，爬虫的主要目的是将互联网上的网页下载到本地形成一个互联网内容的镜像。其工作的过程为，首先从互联网页面中精心选择一部分网页，以这些网页的链接地址作为种子统一资源定位符(URL，UniformResourceLocator)；将这些种子URL放入待抓取URL队列中；爬虫从待抓取URL队列依次读取，并将URL通过DNS解析，把链接地址转换为网站服务器对应的互联网协议(IP，InternetProtocol)地址；然后将IP地址和网页相对路径名称交给网页下载器；网页下载器负责页面内容的下载；对于下载到本地的网页，一方面将其存储到页面库中，等待建立索引等后续处理，另一方面将下载网页的URL放入己抓取URL队列中，这个队列记载了爬虫系统己经下载过的网页URL，以避免网页的重复抓取；对于刚下载的网页，从中抽取出所包含的所有链接信息，并在已抓取URL队列中检查，如果发现链接还没有被抓取过，则将这个URL放入待抓取URL队列；在之后的抓取调度中会下载这个URL对应的网页，形成循环，直到待抓取URL队列为空。

但是，发明人发现目前的移动互联网的内容获取及检测技术存在着以下问题：目前的网络爬虫未能采集移动端的应用程序的页面内容，使用范围限定于PC端的网页，功能单一，并且收集的页面内容限定于超文本标记语言(HTML，HyperTextMarkupLanguage)页面的元素所包含的信息，未能对页面内容实现有效的内容分析和过滤。

发明内容

本发明实施例提供了一种应用程序的页面内容及网络行为的检测方法及装置，能够实现对移动端的应用程序的页面内容的采集以及对应用程序所触发的网络行为信息的采集，同时本发明不局限于HTML页面，也方便了分析服务器对页面内容实现有效的内容分析和过滤。

有鉴于此，本发明第一方面提供一种应用程序的页面内容及网络行为的检测方法，可包括：

通过预置的事务流重现程序进入应用程序的首页；

在所述首页获取所述首页的第一控件信息和所述应用程序触发的第一网络行为信息；

触发进入待访问的页面，并在所述待访问的页面获取所述待访问的页面的第二控件信息和所述应用程序触发的第二网络行为信息；

将所述第一控件信息、所述第一网络行为信息、所述第二控件信息和所述第二网络行为信息发送给分析服务器。

可选的：

若所述应用程序不包括所述待访问的页面，则将所述第一控件信息和所述第一网络行为信息发送给所述分析服务器。

可选的：

对应用程序进行事务流录制，得到事务流信息；

将所述事务流信息转换为事务流重现程序；

通过运行所述事务流重现程序进入所述应用程序的首页。

可选的：

在所述首页遍历所述首页的第一控件，以收集所述第一控件中的第一控件信息，并记录所述应用程序触发的第一网络行为信息；其中，所述第一控件信息包括文字信息、图片信息、视频信息和音频信息，所述第一网络行为信息包括网络请求的互联网协议IP地址和网络响应所传输的报文的内容。

可选的：

加密所述第一控件信息、所述第一网络行为信息、所述第二控件信息和所述第二网络行为信息；

将加密后的所述第一控件信息、所述第一网络行为信息、所述第二控件信息和所述第二网络行为信息发送给分析服务器。

有鉴于此，本发明第二方面提供一种应用程序的页面内容及网络行为的检测装置，可包括：

执行单元，用于通过预置的事务流重现程序进入应用程序的首页；

第一获取单元，用于在所述首页获取所述首页的第一控件信息和所述应用程序触发的第一网络行为信息；

触发单元，用于触发进入待访问的页面；