[发明专利]一种基于内容分析的web数据采集方法

摘要

本发明公开一种基于内容分析的web数据采集方法，属于数据管理领域；本发明获取待爬取URL集，将URL集合分片，分别送到集群各个节点上执行Map操作；从临时文件获取键值对，执行Reduce操作，从原始网页库中取出原始网页，进行解析，提取出新的URL然后存储进链出URL库；将从HDFS获取原始网页作为参数输入，将输入原始网页分片，将各个分片分配到各节点执行Map操作；获取解析出的URL与已采集URL库做比较，过滤掉已经爬取过的网页，将符合条件的集合输出到HDFS；最后判断是否符合结束条件，循环执行；本发明更好地利用分布式特点进行网络数据采集。

主权项

一种基于内容分析的web数据采集方法，其特征在于具体步骤为①从HDFS待采集的网页URL库中获取待爬取URL集，对输入进来的URL级执行Split过程，将URL集合分片，分别送到集群各个节点上执行Map操作，将采集来的原始网页进行网页存储；②从临时文件获取键值对，执行Reduce操作，从原始网页库中取出原始网页，进行解析，提取出新的URL然后存储进链出URL库；③将从HDFS获取原始网页作为参数输入，执行Split过程将输入原始网页分片，将各个分片分配到各节点执行Map操作；已采集的URL从链出URL库获得新URL；④获取解析出的URL，通过与已采集URL库做比较，过滤掉已经爬取过的网页，将符合条件的集合输出到HDFS；⑤判断是否符合结束条件，如果符合，结束程序，如果不符合，将过滤后符合条件的URL存入待采集URL库，网页抓取模块继续抓取，循环执行。