[发明专利]可显著提高网络信息抓取和存储速度的方法

说明书

本发明公开了可显著提高网络信息抓取和存储速度的方法，包括：步骤1，通过网络爬虫从Internet上抓取所需信息，并抽取出需要的关键字；步骤2，URL只是全部种子URL的一部分，将这些URL放入待抓取的URL队列中，从待抓取的URL队列中取出待抓取URL，解析DNS，并得到主机的IP，将URL对应的网页下载下来，存储进已下载网页库中，将下载了网页的URL放进已抓取URL队列中，分析已抓取队列中的URL；步骤3，通过数据分类模块对爬虫抓取的内容进行处理；步骤4，通过数据存储模块对需要抓取数据网站的URL信息、爬虫从网页中抽取出来的数据以及经过DP处理后的数据进行存储。本发明提高了网络信息的采集和抓取速度，同时提高了抓取后信息的存储速度。

技术领域

本发明涉及大数据领域，具体涉及可显著提高网络信息抓取和存储速度的方法。

背景技术

网络数据是数量大、内容杂乱的，现有的爬虫大数据数据采集技术对于网络信息的抓取方法较复杂，花费时间较多，这就导致相关企业想要获得更多的资源，只能扩大服务器规模，成本很高。

发明内容

为解决上述问题，本发明提供了一种可显著提高网络信息抓取和存储速度的方法，包括：

步骤1，通过网络爬虫从Internet上抓取所需信息，并抽取出需要的关键字；

步骤2，通过URL队列为爬虫提供需要抓取数据网络的URL；URL只是全部种子URL的一部分，将这些URL放入待抓取的URL队列中，从待抓取的URL队列中取出待抓取URL，解析DNS，并得到主机的IP，将URL对应的网页下载下来，存储进已下载网页库中，将下载了网页的URL放进已抓取URL队列中，分析已抓取队列中的URL；

步骤3，通过数据分类模块对爬虫抓取的内容进行处理；

步骤4，通过数据存储模块对需要抓取数据网站的URL信息、爬虫从网页中抽取出来的数据以及经过DP处理后的数据进行存储。

进一步地，所述步骤1包括：

步骤11，将需要抓取数据网站的URL信息写入URL队列；

步骤12，爬虫从URL队列中获取需要抓取数据网站的site URL信息；

步骤13，爬虫从Internet抓取对应所需信息，并抽取特定属性的内容值；

步骤14，爬虫将从网页中抽取处的数据写入数据库；

步骤15，DP读取SpiderDATA并进行处理；

步骤16，DP将处理后的数据写入数据库。

进一步地，所述步骤3中数据分类模块对数据的处理包括数据清洗、数据去噪以及进一步的集成存储。

进一步地，URL是指能下载相应网页的URL，包括已下载未过期网页、已下载已过期网页、待下载网页和克制网页。

本发明通过网络爬虫或网站公开API方式从网站上获取数据信息，本发明可以将非结构化数据从网页中抽取出来，将其存储为统一的本地数据文件，并以结构化的方式存储，并且支持图片、音频、视频等文件或附件的采集，附件与正文可以自动关联，提高了网络信息的采集和抓取速度，同时提高了抓取后信息的存储速度。