[发明专利]一种爬取数据的方法、系统及设备

说明书

本申请的目的是提供一种爬取数据的方法、系统及设备，本申请通过通过根据目标任务获取访问流量以及访问日志，对所述访问流量以及所述访问日志进行解析以确定所有的统一资源定位符；从所有的统一资源定位符中筛选出目标访问链接；将筛选后的统一资源定位符加入与所述目标任务相关的配置项，整合成与主动抓取数据格式相同的源数据；将所述源数据加入主动抓取消息队列进行任务消费以确定目标访问链接。从而能够高效解析所有链接，保证了解析代码的普遍适用性，降低开发维护成本，满足了海量网页的快速爬取需求。

技术领域

本申请涉及计算机领域，尤其涉及一种爬取数据的方法、系统及设备。

背景技术

随着互联网的高速发展以及信息的爆炸式增长，网页技术日新月异，一直被广泛使用爬虫技术逐渐难以适应新的需求，解析出链接的覆盖率通常很不理想。这些被广泛使用的爬虫技术是一种主动式的爬取技术，即根据主动爬取到的超文本标记语言页面(html页面)进行标签解析。这种技术往往只能获取到标签中的链接，对隐藏在js代码中，或则标签有所特殊写法的情况下，是难以解析到的。近些年，基于无头浏览器(Hearderless)的应用也越来越频繁，但此种方法需要通过浏览器加载和动态渲染页面，效率低下，无法满足海量URL的快速解析与爬取。针对这些情况，目前采用的爬虫方法，爬取过程完全依赖对HTML内容的解析，当具有链接性质的标签存在页面中js代码中或则其他类型的文件(如js文件中)，则显然会导致部分链接解析不到，覆盖率降低；通常解析代码是固定的，针对不同的网站，无法保证解析链接代码的普遍适用性，最后导致抓取出来的页面结果不完整；开发维护成本较高，针对不同的网站，为了解决解析不到的问题，开发人员需要对每个网站进行特定的解析代码开发；效率低下，需要对大量的网页进行解析，无法满足海量网页的快速爬取。

发明内容

本申请的一个目的是提供一种爬取数据的方法、系统及设备，解决现有技术中爬虫程序对网站链接解析覆盖率低、获取网站内容数据的完整度和效率低下、开发成本高的问题。

根据本申请的一个方面，提供了一种爬取数据的方法，该方法包括：

根据目标任务获取访问流量以及访问日志，对所述访问流量以及所述访问日志进行解析以确定所有的统一资源定位符；

从所有的统一资源定位符中筛选出目标访问链接；

将筛选后的统一资源定位符加入与所述目标任务相关的配置项，整合成与主动抓取数据格式相同的源数据；

将所述源数据加入主动抓取消息队列进行任务消费以确定目标访问链接。

进一步地，所述根据目标任务获取访问流量以及访问日志，包括：

对访问目标任务的访问入口的主交换机进行端口镜像以获取访问流量，获取目标任务对应的访问日志。

进一步地，所述对所述访问流量以及所述访问日志进行解析以确定所有的统一资源定位符，包括：

对所述访问流量进行重组分析以确定访问请求数据，根据所述访问请求数据确定所述访问流量对应的统一资源定位符；

对所述访问日志根据预设的日志解析规则进行解析，得到所述访问日志对应的统一资源定位符。

进一步地，所述与所述目标任务相关的配置项包括：抓取深度、抓取数量、源网际互连协议、抓取限制。

进一步地，所述对所述访问流量进行重组分析以确定访问请求数据，包括：

按照传输控制协议流重组所述访问流量以确定重组数据；

对所述重组数据进行超文本传输协议解析以确定访问请求数据，其中，所述访问请求数据包括访问方式、访问地址、访问域名以及访问请求参数。

进一步地，所述从所有的统一资源定位符中筛选出目标访问链接，包括：