[发明专利]一种基于Hadoop的应用层协议特征提取方法

权利要求书

1.一种基于Hadoop的应用层协议特征提取方法，其特征在于包括以下步骤：

（1）、从网络上捕获需要提取特征的目标应用层协议的流量数据包，存储为文本格式；

（2）、对文本格式的数据包进行预处理，去掉数据包中与协议无关的数据，去掉链路层、网络层和传输层的协议数据，得到目标应用层协议数据包，对每个目标应用层协议数据包进行标记以示区别，设置最小支持度a，得到最小支持数n=N×a；

（3）、对步骤（2）得到的目标应用层协议数据包进行扫描，采用Hadoop平台的Map函数提取备选项，并存储每个备选项对应的数据包标记以及备选项相对于该数据包起始位置的偏移量；

（4）、采用Hadoop平台的Reduce函数统计相同备选项对应的不同的数据包标记个数，作为该备选项的支持数，如果支持数≥最小支持数n，则将备选项作为频繁项进行存储，否则不做任何操作；统计得到的频繁项数量，如果频繁项数量≥2，进入步骤（5），否则进入步骤（6）；

（5）、采用Hadoop平台的Map函数分离频繁项对应的数据包标记，采用Hadoop平台的Reduce函数将数据包标记相同的频繁项集中，将此时频繁项位数记为k；对于数据包标记相同的频繁项两两计算偏移量之差，如果两个频繁项偏移量相差为2，将偏移量小的频繁项的前2位与偏移量大的频繁项顺序组合成k+2位的高位备选项，高位备选项的偏移量为偏移量小的频繁项的偏移量，否则不做任何操作；统计生成的高位备选项个数，如果大于零，返回步骤（4）从新生成的高位备选项中选出频繁项，如果等于零，进入步骤（6）；

（6）、读取步骤（4）产生的所有频繁项，采用Hadoop平台的Map函数分离频繁项对应的数据包标记，采用Hadoop平台的Map函数函数将数据包标记相同的频繁项集中，根据频繁项偏移量进行特征字段筛选，筛选互不重叠的频繁项作为特征字段，得到N个目标应用层协议数据包对应的N组特征字段，第i,1≤i≤N组特征字段的数量为M_i；

（7）、采用Hadoop平台的Reduce函数依次对第i个目标应用层协议数据包进行特征字段组合特征字段组合：将M_i个特征字段进行M_i次组合，在第s次组合时，任意s个特征字段按偏移量顺序组合为特征串，得到个特征串，M_i次组合共计得到个特征串；

（8）、对步骤（7）得到的N个目标应用层协议数据包的所有特征串，采用Hadoop平台的Reduce函数统计相同特征串对应的不同的数据包标记个数作为该特征串的支持数，若支持数≥最小支持数n，则将该特征串作为待定特征串；

对待定特征串数据包标记进行识别，如果有任意两个及以上待定特征串具有相同的数据包标记，则保留最长的待定特征串，删除其他具有相同数据包标记的待定特征串；

将识别后的待定特征串作为目标应用层协议的最终特征串。

2.根据权利要求1所述的应用层协议特征提取方法，其特征在于，所述的步骤（5）与步骤（6）中的频繁项集中通过hash函数完成。

3.根据权利要求1所述的特征提取方法，其特征在于，所述的步骤（6）中的特征字段筛选包括以下步骤：

1）、对于所有具有相同标记的频繁项，统计具有相同偏移量的频繁项，并在具有相同偏移量的频繁项中选取最长的频繁项，共计W个；

2）、将W个频繁项按偏移量排序，将第d=1个频繁项作为第m=1个特征字段存储；

3）、如果d=d+1>W，特征字段筛选结束；否则进入步骤4）；

4）、判断第d个频繁项的偏移量是否大于第m个特征字段最后一个字符的偏移量，如果结果为是，进入步骤4）；如果结果为否，则不做任何操作，返回步骤3）；

5）、将第d个频繁项作为第m=m+1特征字段存储，返回步骤3）。