[发明专利]一种基于Hadoop的应用层协议特征提取方法

说明书

技术领域

本发明属于应用层协议识别技术领域，更为具体地讲，涉及一种基于Hadoop的应用层协议特征提取方法。

背景技术

随着互联网的飞速发展和宽带技术的不断发展，互联网中出现了一些新的需求。伴随着这些需求，应用层协议的形式与种类都较过去更加复杂，并且传统协议的流量在总流量中的比重越来越少，相反，P2P、流媒体、网络游戏等新应用协议不断涌现，因此如何正确的识别这些复杂的协议是现在协议识别算法必须解决的问题。识别协议的方法主要有：基于端口的识别、基于负载的识别、基于测度的识别和基于特征字段的识别。目前基于应用层特征字段的检测技术已成为应用层协议识别的主流方法，但是特征提取还缺乏有效的方法，主要通过人为分析某种应用层协议的规范文档来提取这种协议的特征。随着业务种类快速增长和越来越多非公开自定义协议的采用，通过人为分析进行特征提取变得日益困难，因此需要一种有效提取协议特征的方法。

Cisco预测到2016年，全球将会产生1.3ZB的网络流量，是2011年全球网络流量的4倍，全球平均网速将从现在的9Mbps提高到34Mbps。面对日益增大的网络流量数据，传统的协议特征提取平台已经不能处理了，需要运用云计算来处理这些海量的数据。Hadoop是目前知名的开源系统，可处理PB级数据，运用Hadoop平台来提取协议特征将会有重大的意义。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于Hadoop的应用层协议特征提取方法，高效准确地提取应用层协议特征。

为实现上述发明目的，本发明基于Hadoop的应用层协议特征提取方法，其特征在于包括以下步骤：

（1）、从网络上捕获需要提取特征的目标应用层协议的N个流量数据包，存储为文本格式；

（2）、对文本格式的数据包进行预处理，去掉数据包中与协议无关的数据，去掉链路层、网络层和传输层的协议数据，得到目标应用层协议数据包，对每个目标应用层协议数据包进行标记以示区别，设置最小支持度a，得到最小支持数n=N×a；

（3）、对步骤（2）得到的目标应用层协议数据包进行扫描，采用Hadoop平台的Map函数以位数为4、步进为2提取备选项，并存储每个备选项对应的数据包标记以及备选项相对于该数据包起始位置的偏移量；

（4）、采用Hadoop平台的Reduce函数统计相同备选项对应的不同的数据包标记个数，作为该备选项的支持数，如果支持数≥最小支持数n，则将备选项作为频繁项进行存储，否则不做任何操作；

统计得到的频繁项数量，如果频繁项数量≥2，进入步骤（5），否则进入步骤（6）；

（5）、采用Hadoop平台的Map函数分离频繁项对应的数据包标记，采用Hadoop平台的Reduce函数将数据包标记相同的频繁项集中，将此时频繁项位数记为k；对于数据包标记相同的频繁项两两计算偏移量之差，如果两个频繁项偏移量相差为2，将偏移量小的频繁项的前2位与偏移量大的频繁项顺序组合成k+2位的高位备选项，高位备选项的偏移量为偏移量小的频繁项的偏移量，否则不做任何操作；

统计生成的高位备选项个数，如果大于零，返回步骤（4）从新生成的高位备选项中选出频繁项，并进行判断处理，如果等于零，进入步骤（6）；

（6）、读取步骤（4）产生的包括从高位备选项中选出的频繁项在内的所有频繁项，采用Hadoop平台的Map函数分离频繁项对应的数据包标记，采用Hadoop平台的Reduce函数将数据包标记相同的频繁项集中，根据频繁项偏移量进行特征字段筛选，筛选互不重叠的频繁项作为特征字段，得到N个目标应用层协议数据包对应的N组特征字段，第i,1≤i≤N组特征字段的数量为M_i；

（7）、采用Hadoop平台的Reduce函数依次对第i个目标应用层协议数据包进行特征字段组合：将M_i个特征字段进行M_i次组合，在第s,1≤s≤M_i次组合时，任意s个特征字段按偏移量顺序组合为特征串，得到个特征串，M_i次组合共计得到个特征串；

（8）、对步骤（7）得到的N个目标应用层协议数据包的所有特征串，采用Hadoop平台的Reduce函数统计相同特征串对应的不同的数据包标记个数作为该特征串的支持数，若支持数≥最小支持数n，则将该特征串作为待定特征串；