[发明专利]一种基于内容分析的web数据采集方法

权利要求书

1.一种基于内容分析的web数据采集方法，其特征在于具体步骤为

①从HDFS待采集的网页URL库中获取待爬取URL集，对输入进来的URL级执行Split过程，将URL集合分片，分别送到集群各个节点上执行Map操作，将采集来的原始网页进行网页存储；

②从临时文件获取键值对，执行Reduce操作，从原始网页库中取出原始网页，进行解析，提取出新的URL然后存储进链出URL库；

③将从HDFS获取原始网页作为参数输入，执行Split过程将输入原始网页分片，将各个分片分配到各节点执行Map操作；已采集的URL从链出URL库获得新URL；

④获取解析出的URL，通过与已采集URL库做比较，过滤掉已经爬取过的网页，将符合条件的集合输出到HDFS；

⑤判断是否符合结束条件，如果符合，结束程序，如果不符合，将过滤后符合条件的URL存入待采集URL库，网页抓取模块继续抓取，循环执行。

2.根据权利要求1所述的一种基于内容分析的web数据采集方法，其特征在于所述步骤①中将URL集合分片，分别送到集群各个节点上，利用MapReduce进行Map操作。

3.根据权利要求2所述的一种基于内容分析的web数据采集方法，其特征在于所述步骤②中利用MapReduce执行Reduce操作。

4.根据权利要求1或3所述的一种基于内容分析的web数据采集方法，其特征在于所述步骤③中将原始网页的各个分片分配到各节点利用MapReduce执行Map操作。

5.根据权利要求4所述的一种基于内容分析的web数据采集方法，其特征在于所述步骤④中利用MapReduce执行Reduce操作，获取解析出的URL。