[发明专利]一种未知协议的数据清洗和协议字段特征提取方法

权利要求书

1.一种未知协议的数据清洗和协议字段特征提取方法，其特征在于，该方法包括如下步骤：

S1)在网络的汇聚点抓取网络数据包；

S2)将抓取到的所述网络数据包按照抓取的时间顺序进行标记；

S3)通过数据分类汇聚、获取公共数据地址、获取服务端地址、数据再分类、排除已知协议，得到清洗后的未知协议数据，具体操作步骤如下：

S3.1)数据分类汇聚：将步骤S2)得到的经过标记的所述网络数据包，分别按源地址数据和目的地址数据进行双向配对归类，将相同源地址的数据汇聚为一类，简称I类数据；相同目的地址的数据汇聚为一类，简称II类数据；并将所述I类数据和所述II类数据分别按时序进行排序；

S3.2)获取公共数据地址：计算经过时序排序的所述I类数据中相同的源地址的数目，取其中数目大于预设源地址数目的数据记为I类公共数据；计算经过时序排序的所述II类数据中相同的目的地址的数目，取其中数目大于预设目的地址数目的数据记为II类公共数据；并丢弃不在两类公共数据中的数据；

S3.3)获取服务端地址：比较所述I类公共数据的地址和所述II类公共数据的地址，如果相同，将该地址标记为服务端地址；否则丢弃；

S3.4)数据再分类：将从步骤S3.3)得到的具有相同服务端地址标记的数据，重新对源地址数据和服务端地址数据进行双向配对，归为同类；并按时序进行排序，得到数据包；

S3.5)去掉已知协议：利用已知协议特征库匹配步骤S3.4)得到的数据包，丢掉其中的已知协议的数据包，得到清洗后的未知协议数据包；

S4)通过计算n-bit源/服务端数据包的均值和方差分布、计算同类数据中不同n-bit源/服务端数据包的均值和方差分布的相似性、计算相似字段特征的稳定性，提取未知协议字段特征，得到未知协议字段特征，具体步骤如下：

S4.1)计算n-bit源/服务端数据包的均值和方差分布：将从步骤S3.5)得到的清洗后的未知协议数据包，按同类的源地址和服务端地址数据分别对齐，从对齐后的首部开始划分顺序区域，以bit为单位，逐步增加区域内bit数量n，计算各顺序区域数据的均值和方差，称为n-bit源/服务端数据包的均值和方差分布；

S4.2)计算并比较步骤S4.1)得到的同类数据中不同n-bit源/服务端数据包的均值和方差分布的相似性，选取相似性排名为前200的作为n-bit相似字段特征；

S4.3)计算并比较步骤S4.2)得到的n-bit相似字段特征的稳定性，选取稳定性为前5的作为未知协议字段特征；

S5)确认未知协议字段特征，并建立协议字段特征识别的匹配表达式，存入未知协议字段特征库。

2.根据权利要求1所述的未知协议的数据清洗和协议字段特征提取方法，其特征在于，所述步骤S3.2)中所述预设源地址数目为50；所述预设目的地址数目为50。