[发明专利]一种实时网络流量数据解析方法及系统

说明书

本发明公开了一种实时网络流量数据解析方法及系统，该方法包括：接收网络接口下实时数据流；基于第一报文特征单元对所述实时数据流提取初次特征，所述第一报文特征单元基于预设匹配规则对文本数据进行匹配搜索；在初次特征提取成功的情况下基于初次特征对所述实时数据流进行报文解析；在初次特征提取失败的情况下基于第二报文特征单元对所述实时数据流提取二次特征，基于二次特征对所述实时数据流进行报文解析，所述第二报文特征单元基于语义挖掘对文本数据进行特征提取。本发明减小了面向多类型网络协议解析的复杂性，提高了报文解析效率。

技术领域

本发明涉及协议解析技术领域，具体涉及一种实时网络流量数据解析方法及系统。

背景技术

协议解析是处理网络流量的基础任务，主要对常见协议进行解析，包括链路封装协议、网络基础协议、远程服务协议、远程服务协议、网络管理协议、网络路由协议、类文本传输协议、网络文件服务协议、网络流媒体协议等等。

现有技术中，协议解析具有以下特点：

（1）网络协议的种类众多，常见的协议超过200种，而软件更是超过千种；

（2）网络协议阶段较多，例如加密协议通常会分为握手协议和加密传输阶段，握手阶段和加密传输的特点不仅相同，而有的协议还采取握手和业务流分离的方式；

（3）表明行为的数据通常位于加密数据中，大大提高了提取能够判别的行为的特征的难度。

以上这些特点增加了对如此多的协议种类、行为类型进行解析识别的难度。

发明内容

针对上述现有技术存在的问题，本发明提供了一种实时网络流量数据解析方法及系统，能够对种类众多的报文数据实现高效高准确率的协议解析分类。

第一方面，本申请实施例提供了一种实时网络流量数据解析方法，该方法包括如下步骤：

接收网络接口下实时数据流；

基于第一报文特征单元对所述实时数据流提取初次特征，所述第一报文特征单元基于预设匹配规则对文本数据进行匹配搜索；

在初次特征提取成功的情况下基于初次特征对所述实时数据流进行报文解析；

在初次特征提取失败的情况下基于第二报文特征单元对所述实时数据流提取二次特征，基于二次特征对所述实时数据流进行报文解析，所述第二报文特征单元基于语义挖掘对文本数据进行特征提取。

在一个可选的实现方式中，所述基于第一报文特征单元对所述实时数据流提取初次特征，包括：

基于实时数据流在预设规则库中进行搜索匹配，获取实时数据流中存在的预设特征字段或者符合的预设特征条件，所述预设特征字段和预设特征条件是所述预设规则库中预先配置的；

若获取到至少一个预设特征字段或预设特征条件，则初次特征提取成功，否则初次特征提取失败。

在一个可选的实现方式中，所述在初次特征提取成功的情况下基于初次特征对所述实时数据流进行报文解析，包括：

基于初次特征在预设协议数据表中的描述数据中匹配至少一个描述数据，所述预设协议数据表中包括协议名称字段和协议描述数据字段内容；

在预设协议数据表中确定描述数据对应的协议名称；

基于协议名称调用对应的报文解析方法对所述实时数据流进行报文解析。

在一个可选的实现方式中，所述在初次特征提取失败的情况下基于第二报文特征单元对所述实时数据流提取二次特征，基于二次特征对所述实时数据流进行报文解析，包括：

基于第二报文特征单元对所述实时数据流提取二次特征，所述二次特征包括直观统计特征、概率统计特征、熵值特征、频域特征中的至少一种；