[发明专利]一种网络数据采集方法

权利要求书

1.一种网络数据采集方法，其特征在于，包括：

步骤1，通过网络爬虫从Internet上抓取网页内容，并抽取出需要的属性内容；

步骤2，通过URL队列为爬虫提供需要抓取数据网络的URL；

步骤3，通过数据处理模块对爬虫抓取的内容进行处理；

步骤4，通过数据存储模块对需要抓取数据网站的URL信息、爬虫从网页中抽取出来的数据以及经过DP处理后的数据进行存储。

2.根据权利要求1所述的一种网络数据采集方法，其特征在于，所述步骤1包括：

步骤11，将需要抓取数据网站的URL信息写入URL队列；

步骤12，爬虫从URL队列中获取需要抓取数据网站的site URL信息；

步骤13，爬虫从Internet抓取对应网页内容，并抽取特定属性的内容值；

步骤14，爬虫将从网页中抽取处的数据写入数据库；

步骤15，DP读取SpiderDATA并进行处理；

步骤16，DP将处理后的数据写入数据库。

3.根据权利要求1所述的一种网络数据采集方法，其特征在于，所述步骤3中数据处理模块对数据的处理包括数据清洗、数据去噪以及进一步的集成存储。