[发明专利]基于分布式随机森林的异常流量检测方法和系统

说明书

本发明公开了一种基于分布式随机森林的异常流量检测方法，包括将流量中包含的多个应用的流量信息划分为每个应用的流量；提取每个应用的流量的流特征；基于提取的流特征和该应用的流量检测模型，得到应用的流量状态；根据预存的正常流量状态列表，对比判断该应用的流量状态是否出现异常。本发明将流数据分为各个应用的流量，对每个应用的流量提取对应的流特征；应用流量检测模型，根据流特征输出应用的流量状态；然后根据事先预存的各流量正常状态列表，通过对比判断该应用流量状态是否出现异常；由此，即使在使用加密流量或者用户私有协议时，只需比较流特征与预先建立的流量检测模型，而无需应用层解包，依然可以进行分析。

技术领域

本发明涉及网络安全技术领域，尤其涉及一种基于分布式随机森林的异常流量检测方法和系统。

背景技术

随着网络规模的不断扩大以及各类网络应用的持续深化，互联网已经成为人们生活中不可或缺的基础设施。但与此同时，各类网络攻击日益猖獗，严重威胁着互联网的安全，因此，网络安全要求越来越高。

在现有技术中，可以通过监测网络流量来判断网络环境是否安全。但是这种传统的通过静态规划匹配的网络异常检测方法在动态、复杂的网络环境中难以检测出未知异常和攻击类型，不能满足网络安全检测的要求。且网络中业务繁多，依靠主动检测方式，会给业务服务器带来新的负载压力，通过应用层分析，需要在应用层解码，而应用层加密或私有协议，不能解码。

发明内容

本发明提供一种基于分布式随机森林的异常流量检测方法，包括以下步骤：

将流量中包含的多个应用的流量信息划分为每个应用的流量；

提取每个应用的流量的流特征；

基于提取的流特征和该应用的流量检测模型，得到应用的流量状态；以及

根据预存的正常流量状态列表，对比判断该应用的流量状态是否出现异常。

在本发明提供的基于分布式随机森林的异常流量检测方法中，在将流量中包含的多个应用的流量信息划分为每个应用的流量的步骤之前，还包括：建立每个应用对应的流量检测模型。

在本发明提供的基于分布式随机森林的异常流量检测方法中，建立每个应用对应的流量检测模型的步骤包括：

分别采集多个状态下应用的流量统计特征，生成多个会话统计特征文件；

根据需求对多个会话统计特征文件中的一个或多个进行信息融合，生成分类特征文件；

对所述分类特征文件，根据需求利用PCA识别主要特征；以及

对识别到的主要特征进行随机森林训练，生成流量检测模型。

在本发明提供的基于分布式随机森林的异常流量检测方法中，在对所述分类特征文件，利用PCA进行主要特征识别的步骤之前，还包括：排除所述分类特征文件中的冗余特征分类信息。

在本发明提供的基于分布式随机森林的异常流量检测方法中，采用移动窗口加权平均法排除特征分类信息

此外，为实现上述目的，本发明还提供一种基于分布式随机森林的异常流量检测系统，包括：

流分片模块，用于流量中包含的多个应用的流量信息划分为每个应用的流量；

流特征提取模块，用于提取每个应用的流量的流特征；

流量状态获取模块，用于基于提取的流特征和该应用的流量检测模型，得到应用的流量状态；以及

异常检测模块，用于根据预存的正常流量状态列表，对比判断该应用的流量状态是否出现异常。

在本发明提供的基于分布式随机森林的异常流量检测系统中，还包括流量检测模型建立模块，用于建立每个应用对应的流量检测模型。