[发明专利]一种数据探测方法及装置

说明书

本申请提供一种数据探测方法及装置，所述方法应用于爬虫系统，所述爬虫系统包括爬虫节点、代理节点，所述方法包括：所述代理节点在检测到数据探测任务时，建立所述代理节点与客户端的代理关系；在通过所述爬虫节点执行所述数据探测任务时，触发所述客户端通过所述代理节点向被测系统发送请求信息，其中，所述被测系统响应所述请求信息产生交互数据；所述代理节点捕获所述客户端的请求信息和所述被测系统的交互数据。应用该方法，可以实现对被测系统进行全面探测。

技术领域

本申请涉及互联网技术领域，尤其涉及一种数据探测方法及装置。

背景技术

目前，可以通过浏览器与网站进行交互获取网站的数据，这里，网站的数据可以是网站提供的静态网页、采用后端渲染方式渲染而成的网页，或者针对浏览器发送的AJAX请求而返回的AJAX响应数据，其中，当浏览器获取到网站的AJAX响应数据后，采用前端渲染方式对获取到的数据进行渲染而生成网页。进而，通过爬虫以获取网页内容的方式实现对网站的探测。

可见，传统的爬虫探测到的仅仅是网页内容，并无法探测到浏览器与网站交互过程中的原始交互数据，比如浏览器向网站发送的AJAX请求、网站向浏览器返回的AJAX响应数据等，这就导致应用目前的数据探测方法无法对被测系统进行全面探测。

发明内容

有鉴于此，本申请提供一种数据探测方法及装置，以解决应用目前的数据探测方法无法对被测系统进行全面探测的问题。

根据本申请实施例的第一方面，提供一种数据探测方法，应用于爬虫系统，所述爬虫系统包括爬虫节点、代理节点，所述数据探测方法包括：

所述代理节点在检测到数据探测任务时，建立所述代理节点与客户端的代理关系；

在通过所述爬虫节点执行所述数据探测任务时，触发所述客户端通过所述代理节点向被测系统发送请求信息，其中，所述被测系统响应所述请求信息产生交互数据；

所述代理节点捕获所述客户端的请求信息和所述被测系统的交互数据。

可选的，所述爬虫节点执行所述数据探测任务，包括：

所述爬虫节点从所述数据探测任务的任务信息中获取被测系统的根URL地址；

所述爬虫节点触发所述客户端通过所述代理节点基于所述根URL地址向被测系统发送请求信息，其中，所述请求信息用于请求获取所述被测系统的页面资源，所述被测系统响应所述请求信息向所述客户端返回页面资源。

可选的，所述爬虫节点触发所述客户端通过所述代理节点基于所述根URL地址向被测系统发送请求信息，包括：

所述爬虫节点将所述根URL地址作为当前URL地址，触发所述客户端通过所述代理节点向所述被测系统发送针对当前URL地址的访问请求，其中，所述被测系统响应所述针对当前URL地址的访问请求向客户端返回所述当前URL地址的页面资源；

所述爬虫节点爬取所述页面资源中包含的URL地址；

所述爬虫节点检查爬取的URL地址中是否存在未被访问过的URL地址；如果是，则选择任意一个未被访问过的URL地址作为当前URL地址，返回执行所述触发所述客户端通过所述代理节点向被测系统发送针对当前URL地址的访问请求，直至爬取的URL地址中不存在未被访问过的URL地址。

可选的，所述方法还包括：

所述爬虫节点爬取所述页面资源中包含的表单元素；

所述爬虫节点基于爬取的表单元素触发所述客户端通过所述代理节点向所述被测系统发送AJAX请求报文，其中，所述被测系统响应所述AJAX请求报文向所述客户端返回AJAX响应报文。

可选的，在所述爬虫节点从所述数据探测任务的任务信息中获取被测系统的根URL地址之前，所述方法还包括：