[发明专利]一种实时网络流量数据解析方法及系统

权利要求书

1.一种实时网络流量数据解析方法，其特征在于，包括：

接收网络接口下实时数据流；

基于第一报文特征单元对所述实时数据流提取初次特征，所述第一报文特征单元基于预设匹配规则对文本数据进行匹配搜索；

在初次特征提取成功的情况下基于初次特征对所述实时数据流进行报文解析；

在初次特征提取失败的情况下基于第二报文特征单元对所述实时数据流提取二次特征，基于二次特征对所述实时数据流进行报文解析，所述第二报文特征单元基于语义挖掘对文本数据进行特征提取；

所述在初次特征提取失败的情况下基于第二报文特征单元对所述实时数据流提取二次特征，基于二次特征对所述实时数据流进行报文解析，包括：

基于第二报文特征单元对所述实时数据流提取二次特征，所述二次特征包括直观统计特征、概率统计特征、熵值特征、频域特征中的至少一种；

基于提取的二次特征进行特征分析，获得优化特征数据；

基于优化特征数据对于报文解析结果的关联性强度，对优化特征分配权重；

基于权重数据和优化特征对所述实时数据流进行报文解析；

所述基于提取的二次特征进行特征分析，获得优化特征数据，包括：

基于提取的特征的特征矩阵进行标准化处理；

基于预设线性转化矩阵对特征矩阵进行变换，得到变换后的特征矩阵；

获取变换后的特征矩阵中每个向量与非自身向量的相关性参数，得到特征矩阵对应的相关性矩阵；

对于相关性矩阵进行求解得到特征值和特征向量；

对特征值从大到小排序，得到预设数量个排序靠前的特征值及特征值对应的特征向量；

所述基于优化特征数据对于报文解析结果的关联性强度，对优化特征分配权重，包括：

步骤1：在优化特征数据的集合中，选择其中一个优化特征数据A1，并对优化特征数据A1中的分量特征数据a，获取与所述优化特征数据A1同类别的优化特征数据B中的所述分量特征数据b和与所述优化特征数据A不同类别的优化特征数据C中的所述分量特征数据c，基于分量特征数据b和a的第一差值和分量特征数据c和a的第二差值，在所述第二差值大于第一差值时，增加优化特征数据中分量特征数据的权重，反之，减小优化特征数据中分量特征数据的权重；

步骤2：重新选择一个优化特征数据A2，执行步骤1的过程；

步骤3：重复执行预设次步骤2，获取优化特征数据中分量特征数据的权重；

步骤4：基于步骤1-3，获得优化特征数据中每个分量特征数据的权重。

2.根据权利要求1所述的一种实时网络流量数据解析方法，其特征在于，所述基于第一报文特征单元对所述实时数据流提取初次特征，包括：

基于实时数据流在预设规则库中进行搜索匹配，获取实时数据流中存在的预设特征字段或者符合的预设特征条件，所述预设特征字段和预设特征条件是所述预设规则库中预先配置的；

若获取到至少一个预设特征字段或预设特征条件，则初次特征提取成功，否则初次特征提取失败。

3.根据权利要求1所述的一种实时网络流量数据解析方法，其特征在于，所述在初次特征提取成功的情况下基于初次特征对所述实时数据流进行报文解析，包括：

基于初次特征在预设协议数据表中的描述数据中匹配至少一个描述数据，所述预设协议数据表中包括协议名称字段和协议描述数据字段内容；

在预设协议数据表中确定描述数据对应的协议名称；

基于协议名称调用对应的报文解析方法对所述实时数据流进行报文解析。