[发明专利]一种动态采集互联网数据的方法

说明书

本发明公开一种动态采集互联网数据的方法,涉及大数据应用与分析领域；获取目标网站公示模块显示的全部信息范围内首页首条数据与末页末条数据的发布时间差，作为信息所属时间跨度，依据时间跨度设定网络爬虫的定时启动时间，定期自动获取目标网站上公示模块的信息，并持续积累至信息数据集合；本发明解决了互联网数据采集过程中，由于数据源网站对外公示信息有限，导致无法获取足量的数据样本，难以满足大数据技术应用的数据需求的问题。

技术领域

本发明公开一种方法,涉及大数据应用与分析领域，具体地说是一种动态采集互联网数据的方法。

背景技术

大量数据通过互联网采集来获取。然而受到数据存储的成本、信息安全、数据传输调用的速度、web系统的运行压力等多种因素的影响，各个机构的网站上对外公布的信息大都是有其上限的。即信息一般只在网上发布一段时间，而不是整个信息仓库，如各省市各单位发布的行政许可信息、行政处罚信息、招中标信息、失信被执行人信息、新注册及注销吊销企业信息等等。

由于各机构网站上所示数据有限，现有的数据采集技术不能一次性获取足够的信息数据，但大数据技术所需的数据容量必须大量、多样。因此现有的数据采集方法愈发难以适用于大数据应用中数据的采集需求。

发明内容

本发明针对现有技术的问题，提供一种动态采集互联网数据的方法，对目标网站上有时限的公开信息进行抓取，实现了动态获取所需数据，且经过持续多次运行后不断积累数据总量，形成大数据集合。进而为后续的数据处理、数据分析、建模仿真等大数据技术的应用提供了数据基础，大幅提高了互联网数据的利用效率。

本发明提出的具体方案是：

一种动态采集互联网数据的方法，获取目标网站公示模块显示的全部信息范围内首页首条数据与末页末条数据的发布时间差，作为信息所属时间跨度，

依据时间跨度设定网络爬虫的定时启动时间，定期自动获取目标网站上公示模块的信息，并持续积累至信息数据集合。

优选地，所述的一种动态采集互联网数据的方法中通过浏览器对目标网站的公示模块发送访问请求，查看公示模块显示的全部信息范围内首页首条数据与末页末条数据的发布时间差。

优选地，所述的一种动态采集互联网数据的方法中通过网络爬虫从全部信息范围内首页首条数据遍历至末页末条数据，进行信息抓取。

优选地，所述的一种动态采集互联网数据的方法中网络爬虫的定时启动间隔时长小于信息所属时间跨度。

优选地，所述的一种动态采集互联网数据的方法中每次定时启动获取的信息数据与上一次启动获取的信息数据进行比对，排除重复数据，再进行保存入数据库。

一种动态采集互联网数据的系统，包括时间跨度模块、启动模块、获取模块及存储模块，

时间跨度模块获取目标网站公示模块显示的全部信息范围内首页首条数据与末页末条数据的发布时间差，作为信息所属时间跨度，

启动模块依据时间跨度设定网络爬虫的定时启动时间，获取模块依据定时启动时间定期自动获取目标网站上公示模块的信息，并持续积累至存储模块的信息数据集合中。

优选地，所述的一种动态采集互联网数据的系统中时间跨度模块通过浏览器对目标网站的公示模块发送访问请求，查看公示模块显示的全部信息范围内首页首条数据与末页末条数据的发布时间差。

优选地，所述的一种动态采集互联网数据的系统中获取模块通过网络爬虫从全部信息范围内首页首条数据遍历至末页末条数据，进行信息抓取。

优选地，所述的一种动态采集互联网数据的系统中启动模块设定网络爬虫的定时启动间隔时长小于信息所属时间跨度。

优选地，所述的一种动态采集互联网数据的系统中