[发明专利]一种基于Hadoop的应用层协议识别方法

说明书

技术领域

本发明属于应用层协议识别技术领域，更为具体地讲，涉及一种基于Hadoop的应用层协议识别方法。 

背景技术

随着互联网的飞速发展，互联网中出现了一些新的需求。伴随着这些需求，出现了日益严重的网络信息安全问题，例如：网络入侵、暴力和反动内容的传播、恶意病毒传播等。准确地识别网络中的应用层协议类型，对进行入侵检测，流量控制、提高网络服务质量具有重要的意义。 

识别应用层协议的方法主要有：基于端口的识别、基于负载的识别、基于测度的识别和基于应用层特征字段的识别。目前基于应用层特征字段的识别技术已成为协议识别的主流方法。 

Cisco公司预测，到2016年，全球将会产生1.3ZB的网络流量，是2011年全球网络流量的4倍，全球平均网速将从现在的9Mbps提高到34Mbps。CERNET2NOC负责人王继龙在《中国教育网络》2012年07期的《CNGI-CERNET2主干网流量回升》中写道CNGI-CERNET2出口的入流量月峰值为5.792Gbps，出流量每日的峰值略高于入流量，月峰值为6.331Gbps。面对日益增大的网络数据，我们需要更为高效地对这些海量的网络数据进行处理，其中，就需要准确高效地识别网络中的应用层协议类型，为后续的网络数据进行处理奠定良好的基础。 

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于Hadoop的应用层协议识别方法，以高效准确地识别出应用层协议。 

为实现上述发明目的，本发明基于Hadoop的应用层协议识别方法，其特征在于包括以下步骤： 

（1）、将已知的应用层协议数据包的特征串放入HBase数据库中，所述的特征串的格式为特征字段1、偏移量1、特征字段2、偏移量2、……、特征字 段n、偏移量n，其中，偏移量i为对应特征字段i相对于应用层协议数据包首字母的偏移位置，i=1,2,……，n，n为特征串所包含的特征字段的数量，特征字段与偏移量之间用分隔符分隔，以便区分； 

如果特征串的第一个特征字段即特征字段1的偏移量为0，则将该特征串以及特征串的属于那种应用层协议的说明放入HBase数据库的表0中，具体的存放格式为第一个特征字段的前2个字符作为列族，第3、4个字符作为行键，同时，采用列修饰符对该特征串进行编号，其中，列修饰符编号从1开始，以区别前四个字符相同的特征串，将整个特征串以及特征串的属于那种应用层协议的说明作为特征值放入列族、行键和列修饰符对应的表格中； 

否则，将整个特征串以及特征串的属于那种应用层协议的说明放入HBase数据库的表1中； 

（2）、首先用Hadoop平台的Map函数对从网络上捕获的数据包进行预处理，提取出应用层协议数据包，然后将提取的应用层协议数据包进行聚类，将相同应用层数据包作为一条数据包进行识别，这样减少了整个程序运行的时间； 

（3）、用Hadoop平台的Reduce函数对聚类后的应用层协议数据包进行识别： 

提取聚类后的应用层协议数据包的前4个字符，用这4个字符的前2个字符作为列族，第3、4个字符作为行键，从HBase数据库的表0中提取特征值，并存放在集合A1里； 

如果集合A1不为空，则用聚类后的应用层协议数据包依次与集合A1中的特征值的特征串进行匹配，如果特征值的特征串的每个特征字段依据其偏移量在应用层协议数据包中找到，则认为特征串匹配成功，一旦特征串匹配成功则将特征值的特征串属于那种应用层协议的返回；否则认为特征串匹配不成功； 

如果集合A1为空或集合A1不为空但特征串匹配不成功，则从HBase数据库的表1中提取特征值，并存放在集合A2中，然后用聚类后的应用层协议数据包依次与集合A2中的特征值的特征串进行匹配，如果特征值的特征串的每个特征字段依据其偏移量在应用层协议数据包中找到，则认为特征串匹配成功，一旦特征串匹配成功则将特征值的特征串属于那种应用层协议的返回；否则认为特征串匹配不成功，返回聚类后的应用层协议数据包不能识别。 

本发明的发明目的是这样实现的：