[发明专利]一种基于隐马尔可夫模型的复杂网络应用逆向处理方法

说明书

技术领域

本发明涉及一种基于隐马尔可夫模型的复杂网络应用逆向处理方法。

背景技术

当今互联网上的网络流量规模之大，应用服务之多，通信协议之复杂，大大增加了异常检测、入侵检测系统以及防火墙等网络安全技术的挑战性，导致互联网面临着更加严峻的网络安全问题。由于黑客都是利用了通信协议或软件系统的漏洞、并借助特定的控制-命令协议以远程控制的方式实施网络入侵和攻击，因此，我们必须先于黑客发现潜在的协议漏洞并及时打上补丁、全面熟悉黑客使用的控制-命令协议的规范、掌握这些协议中远程控制的命令，才能有效防御各种网络威胁或者在发生攻击时能及时地发现并阻断攻击。为了能达到这些防御目标，我们必须获得协议的完整协议规范。常见的协议规范可以从国际电信联盟(ITU)，国际标准化组织(ISO)以及Internet工程任务组(IETF)等国际标准化组织发布的标准文档库中获得。一些私有的应用或协议的开发者，往往会出于商业机密、隐私保密等原因而拒绝提供有关的协议规范文档；网络攻击或恶意软件的制造者也不愿意公开相应的控制-命令协议规范。在这种情况下，网络管理员或安全专家就必须依赖于协议逆向工程技术来重构协议的规范。协议逆向工程可自动化地为协议流量识别、入侵检测等应用提供丰富而准确的协议基本组成要素和流量的交互规律特征。目前协议逆向工程方面的工作几乎都是针对一对一交互式的简单协议或应用。然而，越来越多的网络应用或网络攻击采用的通信协议是多参与方、多通道、并行交互式地协同完成交互任务。现有的协议逆向工程技术不适用于这种复杂网络应用的逆向分析。

发明内容

本发明针对现有技术的不足，提供一种基于隐马尔可夫模型的复杂网络应用逆向处理方法。该方法引入耦合的多链隐马尔可夫模型，恢复复杂协议的交互规律，为有效监测和管控复杂网络应用提供一种基础支持技术。

为了达到上述目的，本发明一种基于隐马尔可夫模型的复杂网络应用逆向处理方法，主要包括以下步骤：

第一步、对网络流量进行采集分类，标识出已知流量并隔离出未知流量；

第二步、对未知流量进行聚类分析，并对每一个簇的流量分配一个类标记；

第三步、对每一类已标识的已知流量和未知流量进行频繁项分析，提取流量中的频繁项集；

第四步、计算频繁项在流量中的位置方差并根据位置方差过滤协议关键词；

第五步、对网络流量进行空间连接分析和时间时序分析，得到流量的拓扑连接图和连接序列；

第六步，对网络流量进行社团划分；

第七步，基于多链耦合隐马尔可夫模型的耦合系数参数估计。

优选地，所述连接序列是指每个连接的报文序列，连接序列中的每个报文序列都用它的报文类型来表示。

优选地，所述第六步为采用基于节点应用层特征相似度的Newman快速算法对网络流量进行社团划分。

对于基于多链耦合隐马尔可夫模型(CHMM)的复杂网络应用模型，假设复杂网络应用的参与方状态过程服从一个隐马尔可夫过程，那么网络中每一个节点可以用一个隐马尔可夫模型来描述。因此，CHMM中耦合的HMM数目C为网络节点的个数，也即复杂网络应用的参与者个数。本发明专利中，所有的隐马尔可夫链具有相同的长度T。假设CHMM中各隐马尔可夫模型的状态空间都为S＝{1,2,3}，表示网络节点的三种状态：发送数据状态，接收数据状态和空闲状态。本发明专利将复杂网络应用的报文格式编号，不同的报文格式代表不同的报文类型。而各节点对应的隐马尔可夫模型的观测值空间V＝{1,2,...,M}为节点间出现交换的协议报文类型。网络节点的初始状态分布用来表示，其中表示第c个节点的初始状态为j的概率，并满足初始状态分布描述网络节点在交互开始的时候所处的状态。

网络节点之间的状态转移概率用表示，其中表示从c'节点的状态i向c节点的j状态转移的概率，并满足特别地，当c'＝c时，表示一个节点自身随时间变化的状态转移概率。状态转移概率矩阵A描述网络节点行为状态的转变规律。

网络节点的观测概率用来表示，其中表示t时刻第c个节点接收到从第c'个节点发送来的报文类型，表示t时刻观测第c个HMM的节点收到的概率，并满足观测概率矩阵描述网络节点在不同行为状态下交互内容或类型的分布特征。

至此，λ＝(π,A,B,Θ)就构成一个复杂网络应用的协议交互模型。