[发明专利]一种数据探测方法及装置

权利要求书

1.一种数据探测方法，其特征在于，应用于爬虫系统，所述爬虫系统包括爬虫节点、代理节点，所述数据探测方法包括：

所述代理节点在检测到数据探测任务时，建立所述代理节点与客户端的代理关系；

在通过所述爬虫节点从所述数据探测任务的任务信息中获取被测系统的根URL地址的情况下，由所述爬虫节点触发所述客户端通过所述代理节点并基于所述根URL地址向被测系统发送请求信息，其中，所述请求信息用于请求获取所述被测系统的页面资源，所述被测系统响应所述请求信息向所述客户端返回页面资源；

所述代理节点捕获所述客户端的请求信息和所述被测系统的页面资源。

2.根据权利要求1所述的方法，其特征在于，所述爬虫节点触发所述客户端通过所述代理节点基于所述根URL地址向被测系统发送请求信息，包括：

所述爬虫节点将所述根URL地址作为当前URL地址，触发所述客户端通过所述代理节点向所述被测系统发送针对当前URL地址的访问请求，其中，所述被测系统响应所述针对当前URL地址的访问请求向客户端返回所述当前URL地址的页面资源；

所述爬虫节点爬取所述页面资源中包含的URL地址；

所述爬虫节点检查爬取的URL地址中是否存在未被访问过的URL地址；如果是，则选择任意一个未被访问过的URL地址作为当前URL地址，返回执行所述触发所述客户端通过所述代理节点向被测系统发送针对当前URL地址的访问请求，直至爬取的URL地址中不存在未被访问过的URL地址。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

所述爬虫节点爬取所述页面资源中包含的表单元素；

所述爬虫节点基于爬取的表单元素触发所述客户端通过所述代理节点向所述被测系统发送AJAX请求报文，其中，所述被测系统响应所述AJAX请求报文向所述客户端返回AJAX响应报文。

4.根据权利要求1所述的方法，其特征在于，在所述爬虫节点从所述数据探测任务的任务信息中获取被测系统的根URL地址之前，所述方法还包括：

所述爬虫节点检查所述数据探测任务的任务信息中是否存在登录信息，所述登录信息包括用户信息和所述被测系统的登录页URL地址；

如果是，则触发所述客户端通过所述代理节点向所述被测系统发送针对所述登录页URL地址的访问请求，其中，所述被测系统响应所述针对登录页URL地址的访问请求向所述客户端返回登录页面；

所述爬虫节点基于所述登录页面触发所述客户端通过所述代理节点向所述被测系统发送携带所述用户信息的登录请求，其中，所述被测系统响应所述登录请求向所述客户端返回登录响应消息。

5.根据权利要求4所述的方法，其特征在于，所述爬虫节点基于所述登录页面，触发所述客户端通过所述代理节点向所述被测系统发送携带所述用户信息的登录请求，包括：

所述爬虫节点基于所述登录页面确定所述被测系统所采用的登录认证方式；

所述爬虫节点确定与所述被测系统所采用的登录认证方式匹配的目标登录方式；

所述爬虫节点基于所述目标登录方式在所述登录页面上输入所述用户信息，并触发所述客户端通过所述代理节点向所述被测系统发送携带所述用户信息的登录请求。

6.一种爬虫系统，其特征在于，所述爬虫系统包括爬虫节点、代理节点；其中：

所述代理节点，用于在检测到数据探测任务时，建立所述代理节点与客户端的代理关系；

所述爬虫节点，用于从所述数据探测任务的任务信息中获取被测系统的根URL地址的情况下，由所述爬虫节点触发所述客户端通过所述代理节点并基于所述根URL地址向被测系统发送请求信息，其中，所述请求信息用于请求获取所述被测系统的页面资源，所述被测系统响应所述请求信息向所述客户端返回页面资源所述页面资源；

所述代理节点，还用于捕获所述客户端的请求信息和所述被测系统的页面资源。