[发明专利]一种基于MapReduce算法的并行识别、统计网页URL的方法

权利要求书

1.一种基于MapReduce算法的并行识别、统计网页URL的方法，其特征在于，包括以下步骤：

101、获取网络的数据流量，并将网络数据流量以块block为单位存储在分布式文件系统HDFS中；

102、将步骤101中存储的网络数据流量进行HTTP请求重组，形成重组后的HTTP请求报文；

103、读入步骤102中经过重组后的HTTP请求报文，并将该经过重组后的HTTP请求报文转化为键值对<五元组，HTTP请求>，利用正则表达式提取GET字段及Host字段拼成URL，完成对URL资源的一次访问请求，当未提取到GET字段及Host字段时则读取下一个请求，返回步骤103；

若URL提取成功，则接着利用正则表达式提取键值对<五元组，HTTP请求>中HTTP请求报文的Referer字段。根据提交方已有的广告过滤规则对Referer字段进行过滤，并将过滤后的Referer字段的值存入提交方数据库Referer DB；跳转至步骤104；

104、过滤以gif/jpg/png/js/css/swf/flv结尾的页面元素URL，生成输出键值对<URL，1>，其中URL为过滤掉gif/jpg/png/js/css/swf/flv结尾的页面元素后的URL，1代表一次访问；

105、重复步骤103和104，统计得到若干个输出键值对<URL，1>，将输出键值对<URL，1>中相同URL汇聚到一起，组成带有所有访问记录的键值对<URL，list(1)>，list(1)相当于{1,1,1，……，1}，即记录了相同URL的每一次访问；

106、将步骤105中带有所有访问记录的键值对<URL，list(1)>中的URL与步骤103中的提交方数据库Referer DB中的Referer值相匹配，若匹配成功到则为页面URL，输出该输出键值对<URL，list(1)>；若匹配失败则读取下一条记录，完成网页URL的并行识别、统计。

2.根据权利要求1所述的基于MapReduce算法的并行识别、统计网页URL的方法，其特征在于，步骤103中的键值对<五元组，HTTP请求>中，五元组为源IP、目的IP、源端口、目的端口、传输层协议。

3.根据权利要求1所述的基于MapReduce算法的并行识别、统计网页URL的方法，其特征在于，步骤103中的提取URL正则表达式分别为：(？<＝GET/s)(.+)(/sHTTP/1/.1)和(？<＝Host:/s)(.+)(？＝/r/n)，前者用于提取GET字段，后者用于提取Host字段。提取Referer字段的正则表达式为：(？<＝Referer:/s)(.+)(？＝/r/n)。