[发明专利]分布式网络流量新奇检测方法及分类器

说明书

本发明提供了分布式网络流量新奇检测方法及分类器，包括分类训练方法，包括：获取N多个节点采集的未知类数据样本，并进行数据共享；将各节点的未知类数据样本合并，并构建分类器，使用该分类器对实时流量进行流量类型识别。本发明针对未知网络流量对基于机器学习的网络流量识别技术的影响，结合有监督和无监督的机器学习机制，采用基于未知流数据共享机制的分布式框架，训练可以有效识别原有已知应用类别以及新型应用所产生的未知类别的网络流量分类器，与集中式方案相比，可以有效提高对未知类的感知、检测效率和性能，同时分布式未知类信息共享机制有效降低对未知类发现时间延迟，有利于及时发现整个网络中涌现新型应用和未知流量。

技术领域

本发明涉及式网络流量检测方法，特别是涉及分布式网络流量新奇检测方法及分类器。

背景技术

随着互联网和移动互联网技术的发展，各厂商开发了各式各样的应用，使得网络应用类型的数量爆炸性地增长，为网络安全和管理带来了严峻挑战。为了在网络端识别网络流量所对应的应用类型，传统厂商主要采用基于“端口号”的识别技术和基于“深度包检测”的识别技术。由于越来越多的应用采用动态端口号协商技术，基于“端口号”的识别技术变得不再可靠。与此同时，虽然基于“深度包检测”的识别技术准确率较高，但是其计算复杂度极高，同时无法处理识别加密流量。因此，近年来学术界和产业界提出了基于机器学习的网络流量识别技术，这类方法提取网络流量的可观测属性作为特征向量，利用有标记的训练集和有监督机器学习算法训练分类模型，用于实时的流量识别。实践表明基于机器学习的网络流量识别技术具有较高的准确率和较低的计算复杂度，适用于大规模实时网络流量分类。

基于机器学习的网络流量识别技术的准确率依赖于训练数据集的质量。有监督机器学习算法假设训练数据集是完整的、具有代表性的。但是，在真实世界里，网络中不断地出现新型的网络应用，产生新的流量特征模式，而原有的训练数据集中并没有这些新型应用的样本。对于流量分类器来说，这些新型应用的流量是“未知的”，其会被分类器错误地识别为其他类型的应用。因此，如何及时有效地检测新型网络应用所产生的未知流量，是基于机器学习的网络流量识别技术必须解决的关键问题。

鲁棒统计流量分类技术是一种针对未知流量影响的机器学习网络流量识别方案。该方案包括三个关键模块：未知流量发现，流量分类模块和系统更新模块。未知流量发现模块有两个步骤，先使用K均值算法对网络流进行聚类，然后应用随机森林算法对未知聚类簇进行分类。流量分类模块采用了基于“流袋”的流量分类框架，即引入流量相关信息，将具有相关信息的流视为一个类群(即一个“流袋”中所有流属于有相同的网络流量类别)，该方案在每个“流袋”中随机选取一个流作为该类群的代表用于构建训练集。系统更新模块将新的未知应用流量纳入训练集对分类模型进行更新。

基于最近簇的分类技术是另一个较为新颖的针对未知流量的识别方案。该方案主采用了流标签传播方法和半监督分类方法来发现未知网络流量，且在模型训练时采用最近邻算法。其中，流标签传播方法是根据已标记好的流来定义与其具有相似信息的未标记的流；半监督分类方法先用K均值算法对网络流进行聚类，然后将各个聚类簇根据已标记的流做标记，从而找出未知流聚类簇。

在上述的现有技术中，都是基于集中式的网络流量识别架构。这种集中式网络流量分类和未知流量检测方法的时间复杂度较高、可扩展性较低，并且各个网络节点之间的信息无法共享，无法及时发现整个网络中涌现的新型应用和未知流量。

发明内容

本发明提供了分布式网络流量新奇检测方法及分类器，用于快速发现和提取未知流量的样本用于更新流量分类器，从而保证流量分类器的鲁棒性，提高网络流量识别的准确率。

本发明提供了分布式网络流量新奇检测方法，包括分类训练方法，所述分类训练方法包括

获取N多个节点采集的未知类数据样本，并进行数据共享；

将各节点的未知类数据样本合并，并构建分类器，使用该分类器对实时流量进行流量类型识别。