[发明专利]一种基于MapReduce算法的并行识别、统计网页URL的方法

摘要

本发明公开了一种基于MapReduce算法的并行识别、统计网页URL的方法，包括步骤将捕获的网络数据流量以block(块，默认大小64M)为单位分散存储在HDFS(分布式文件系统)中；提取URL之前，重组HTTP请求；执行Job1，从重组后的HTTP请求中并行提取URL；执行Job2，从提取出的URL中识别出页面URL。本方法提供了一种稳定、可靠、均匀且低成本的并行识别、统计网页URL的方法。

主权项

一种基于MapReduce算法的并行识别、统计网页URL的方法，其特征在于，包括以下步骤：101、获取网络的数据流量，并将网络数据流量以块block为单位存储在基于Hadoop的分布式文件系统HDFS中；102、将步骤101中存储的网络数据流量进行HTTP请求重组，形成重组后的HTTP请求报文；103、读入步骤102中经过重组后的HTTP请求报文，并将该经过重组后的HTTP请求报文转化为键值对<五元组，HTTP请求>，利用正则表达式提取GET字段及Host字段拼成URL，完成对URL资源的一次访问请求，当未提取到GET字段及Host字段时则读取下一个请求，返回步骤103；若URL提取成功，则接着利用正则表达式提取键值对<五元组，HTTP请求>中HTTP请求报文的Referer字段，根据提交方已有的广告过滤规则对Referer字段进行过滤，并将过滤后的Referer字段的值存入提交方数据库Referer DB；跳转至步骤104；104、过滤以gif/jpg/png/js/css/swf/flv结尾的页面元素URL，生成输出键值对<URL，1>，其中URL为过滤掉gif/jpg/png/js/css/swf/flv结尾的页面元素后的URL，1代表一次访问；105、重复步骤103和104，统计得到若干个输出键值对<URL，1>，将输出键值对<URL，1>中相同URL汇聚到一起，组成带有所有访问记录的键值对<URL，list(1)>，list(1)相当于{1,1,1，……，1}，即记录了相同URL的每一次访问；106、将步骤105中带有所有访问记录的键值对<URL，list(1)>中的URL与步骤103中的提交方数据库Referer DB中的Referer值相匹配，若匹配成功到则为页面URL，输出该输出键值对<URL，list(1)>；若匹配失败则读取下一条记录，完成网页URL的并行识别、统计。