[发明专利]定向定量的互联网数据采集方法及系统

说明书

本发明公开了一种定向定量的互联网数据采集方法及系统，属于大数据应用与分析领域，本发明要解决的技术问题为如何避免因为采集范围大而造成的采集用时长、资源节点占用量大、目标数量漏采，采用的技术方案为：该方法是通过自定义的数据显示上限和偏移值对网站发送检索请求，得到相关联的定制化检索结果，经由一次或少次请求遍历获取全量数据，再将得到检索结果合并后做结构化处理，保存入库达到数据采集的目的。该系统包括默认参数获取模块、参数自定义模块、测试请求发送模块、全量数据获取模块及数据处理入库模块。

技术领域

本发明涉及大数据应用与分析领域，特别涉及数据挖掘领域的数据采集方法和网络爬虫技术，具体地说是一种定向定量的互联网数据采集方法及系统。

背景技术

现在的社会是一个高速发展的社会，随着计算机和信息技术的迅猛发展和普及应用，行业应用系统的规模迅速扩大，行业应用所产生的数据呈爆炸性增长，人们愈加认识到数据的重要性，数据这一概念已经引起了各行业从业者与用户的广泛关注。对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。而随着政府信息公开与企业数字化发展，大量有价值的数据都可以通过对互联网数据的采集来获取。

传统的数据采集技术一般不涉及对网站访问请求的人为变更，即不会根据采集需求人为修改请求访问参数，通常都是根据网站页面的默认显示形式去遍历网站进而获取全量目标数据。

由于目前各大网站的内容不断扩展、数据总量不断增大，按网站默认显示形式发送请求获取响应数据所需的发送次数大幅增长。放任采集程序按照既定的显示参数从网站提取全量目标数据，所需的采集用时、资源节点、处理加工等数据采集成本也随之大幅上升。故在互联网数据采集过程中，如何避免因为采集范围大而造成的采集用时长、资源节点占用量大、目标数量漏采是目前亟待解决的问题。

专利号为CN108804620A的专利文献公开了一种互联网数据采集方法、系统及计算机终端。该方法包括：S1从所述待采集列表中获取待采集对象，根据预设规则构造该待采集对象的访问链接；S2根据所述访问链接获取所述待采集对象的网页内容，对所述网页内容进行解析以获取包含所述待采集对象的相关对象的有用信息，存储所述有用信息及将所述待采集对象加入已采集列表中；S3判断所述相关对象是否在待采集列表或已采集列表中，若均不存在，将所述相关对象加入到待采集列表中，重新执行步骤S1及后续步骤直至所述待采集列表内所有对象的有用信息采集完毕。该技术方案解决了如何通过一个访问链接发现新的价值链接的情况，实现互联网数据采集的自动化及全面化，但是不能解决因为采集范围大而造成的采集用时长、资源节点占用量大、目标数量漏采的问题。

发明内容

本发明的技术任务是提供一种定向定量的互联网数据采集方法及系统，来解决如何避免因为采集范围大而造成的采集用时长、资源节点占用量大、目标数量漏采的问题。

本发明的技术任务是按以下方式实现的，一种定向定量的互联网数据采集方法，该方法是通过自定义的数据显示上限和偏移值对网站发送检索请求，得到相关联的定制化检索结果，经由一次或少次请求遍历获取全量数据，再将得到检索结果合并后做结构化处理，保存入库达到数据采集的目的。

作为优选，该方法具体如下：

S1、获取默认参数：通过浏览器开发工具或数据采集工具对向目标网站发送的检索请求或翻页请求进行拦截，获取包括每页显示上限和当前页数(即偏移值)在内的各个请求参数名称和值；

S2、参数自定义：根据网站的目标数据总量，人为调整增大显示上限的数值并设定合理的偏移量，将全量数据分割为小于网站总页数的数块；

S3、发送测试请求：自定义的数据显示上限和偏移值后，发送1次请求并获取网站响应数据，与网站对应偏移量的网页数据作对比，判断两者是否符合：

①、若是，则说明该方法有效，能够发送定量定向请求，执行步骤S4；