[发明专利]一种未知协议的数据清洗和协议字段特征提取方法

说明书

本发明提供了一种未知协议的数据清洗和协议字段特征提取方法，该方法包括：抓取网络数据包；进行数据标记；清洗数据；获取未知协议字段特征；确认未知协议字段特征。本发明提出的未知协议的数据清洗和协议字段特征提取方法，将网络中庞大的数据量进行了清洗，区分出未知协议与已知协议，减少了后续处理的复杂性，并在此基础上，进一步提取出未知协议的字段特征；并且未知协议分析和识别的整体流程不是针对某种具体类型的协议类型，具有较好的通用性。

技术领域

本发明属于网络安全技术领域，涉及未知网络协议分析技术，特别涉及一种未知协议的数据清洗和协议字段特征提取方法。

背景技术

现有协议分析可以分为标准协议、私有协议和未知协议。标准协议为国际或国家标准化组织采纳或批准的；私有协议也称非标准协议，本质上是未经国际或国家标准化组织采纳或批准的，厂商内部发展和采用的标准，除非授权，其他厂商一般无权使用该协议；未知协议由未公开协议文档的未知应用层协议生成，不能使用传统的协议识别工具识别分析。

分析表明，在每周的统计数据流量监测中超过四成流量属于未知应用协议，这些流量给网络管理、流量监控以及入侵检测等带来了巨大的挑战，而随着新技术的发展，已有的方法对于未知协议的识别效果越来越差。因此有效的未知协议分析方法，对网络管理、流量监控、入侵检测以及维护网络安全都有重要意义。

现有的未知协议的分析方法主要包含：

申请号CN201410628565的发明专利“一种私有协议分析与识别方法”，公开了一种私有协议分析与识别方法，具体包括以下步骤：步骤一：先将采用私有协议进行通信的客户端软件进行脱壳处理，得到脱壳后的原始程序；再对原始程序进行反汇编，得到该原始程序的汇编代码；然后对其汇编代码中的关键函数进行动态调试，从而得到该私有协议的报文类型的字段长度和构造特征；其中关键函数包括：1.报文数据包的构造函数；2.发送和接收报文数据包的函数；3.加密和解密函数；步骤二：抓取该私有协议的网络流数据，并按协议交互的不同阶段进行报文数据包分类，然后分别解析出每类报文数据包的字段结构；步骤三：对交互过程中的协议特征进行提取和归纳；其中：协议特征包括交互过程信息和报文数据包的字段结构特征；步骤四：利用步骤三中所得到的协议特征，设置协议识别的匹配表达式，对网络中获取到的流量进行识别。

申请号CN201310398921的发明专利“基于协议分析的网络数据处理方法及系统”，公开了一种基于协议分析的网络数据处理方法及系统，该方法包括：

1)捕获网络中的数据包；

2)将所捕获的数据包的指纹与目的指纹相比较；

3)判断通过指纹比对后的数据包是否为完整数据包；

4)对完整数据包进行数据挖掘，生成新的关联规则；

5)根据从规则库解析出来的协议，利用协议的特征对数据包进行协议分析；

6)管理服务器根据信息日志，对警告信号进行实时响应；同时，判断是否将新生成的关联规则保存到规则库中。

申请号CN201310718896的发明专利“一种基于基函数的网络协议分析方法”，公开了基于基函数的网络协议分析方法，包括：建立基函数库和已知结构协议的基函数模式组合方式库；当接收到目标网络发过来的数据，利用该数据和已有的基函数模式组合方式表征该目标网络对应的目标协议的结构；根据目标协议的结构进行判断：如果该数据为已知结构的协议数据，采用分层的方法对该目标协议进行分析；如果该数据位未知结构的协议数据，利用已有基函数或新的基函数生成该目标协议对应的基函数模式组合方式。该发明可以解决协议快速识别、精确分析处理的问题。

上述方法主要存在以下问题：

(1)网络数据集体量巨大但未作清洗，其中存在的各种与未知协议分析不相关的信息，不仅干扰分析效果，并且使得处理过程复杂，时间和空间需求巨大。