[发明专利]一种爬取数据的方法、系统及设备

权利要求书

1.一种爬取数据的方法，其中，所述方法包括：

根据目标任务获取访问流量以及访问日志，对所述访问流量以及所述访问日志进行解析以确定所有的统一资源定位符；

从所有的统一资源定位符中筛选出目标访问链接；

将筛选后的统一资源定位符加入与所述目标任务相关的配置项，整合成与主动抓取数据格式相同的源数据；

将所述源数据加入主动抓取消息队列进行任务消费以确定目标访问链接。

2.根据权利要求1所述的方法，其中，所述根据目标任务获取访问流量以及访问日志，包括：

对访问目标任务的访问入口的主交换机进行端口镜像以获取访问流量，获取目标任务对应的访问日志。

3.根据权利要求1所述的方法，其中，所述对所述访问流量以及所述访问日志进行解析以确定所有的统一资源定位符，包括：

对所述访问流量进行重组分析以确定访问请求数据，根据所述访问请求数据确定所述访问流量对应的统一资源定位符；

对所述访问日志根据预设的日志解析规则进行解析，得到所述访问日志对应的统一资源定位符。

4.根据权利要求1所述的方法，其中，所述与所述目标任务相关的配置项包括：抓取深度、抓取数量、源网际互连协议、抓取限制。

5.根据权利要求3所述的方法，其中，所述对所述访问流量进行重组分析以确定访问请求数据，包括：

按照传输控制协议流重组所述访问流量以确定重组数据；

对所述重组数据进行超文本传输协议解析以确定访问请求数据，其中，所述访问请求数据包括访问方式、访问地址、访问域名以及访问请求参数。

6.根据权利要求1所述的方法，其中，所述从所有的统一资源定位符中筛选出目标访问链接，包括：

对所有的统一资源定位符进行筛选处理以确定目标访问链接，其中，所述筛选处理包括去重处理、去静态资源处理、去相似统一资源定位符处理、去敏感域名处理中任一种或任几种组合。

7.根据权利要求1所述的方法，其中，所述方法包括：

根据所述目标任务相关的配置项执行抓取所述目标任务的生产消费循环。

8.根据权利要求1所述的方法，其中，所述将所述源数据加入主动抓取消息队列进行任务消费以确定目标访问链接，包括：

将所述与主动抓取数据格式相同的源数据按照定量流数据的方式加入至所述主动抓取消息队列中，确定新的消息队列；

根据所述目标任务相关的配置项主动处理抓取所述新的消息队列中的源数据以确定目标访问链接。

9.一种爬取数据的系统，其中，所述系统包括：被动抓取模块、爬虫鉴别模块、数据整合模块以及主动抓取模块，其中，

所述被动抓取模块用于根据目标任务获取访问流量以及访问日志，对所述访问流量以及所述访问日志进行解析以确定所有的统一资源定位符；

所述爬虫鉴别模块用于从所有的统一资源定位符中筛选出目标访问链接；

所述数据整合模块用于将筛选后的统一资源定位符加入与所述目标任务相关的配置项，整合成与主动抓取数据格式相同的源数据；

所述主动抓取模块用于将所述源数据加入主动抓取消息队列进行任务消费以确定目标访问链接。

10.一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现如权利要求1至8中任一项所述的方法。

11.一种爬取数据的设备，其中，所述设备包括：

一个或多个处理器；以及

存储有计算机可读指令的存储器，所述计算机可读指令在被执行时使所述处理器执行如权利要求1至8中任一项所述方法的操作。