[发明专利]互联网流量分级分类方法

说明书

技术领域：

本发明涉及互联网流量分类技术领域，具体讲是一种互联网流量分级分类方法。

背景技术：

互联网流量的精确分类与识别是网络流量工程、网络管理与安全监测、网络设计与规划等网络行为的前提和基础。高效、准确、实时地识别出互联网流量对于分析网络发展趋势、提供服务质量(QoS)保证、实现动态访问控制和路由决策、进行合法有效的网络管理和控制、检测网络异常行为与提高网络安全性等都有很重要的现实意义，同时为互联网的进一步发展提供自适应能力。

目前，互联网流量分类方法主要有以下几种：

基于端口的流量识别方法，这种分类方法操作简单、效率高、能实现早期检测，但不能识别大量出现的动态端口和伪装端口的应用。特别是，新一代的对等网络(P2P)应用综合了很多防火墙旁路策略，如动态端口分配和中继节点来避免被检测或过滤，端口匹配法识别能力有限，只能产生不精确的应用分类结果。

深度数据包检测法(DPI)，易于理解、维护简单、分类精度高、具有细粒度分类应用能力，但识别开销大、DPI特征库更新工作量大、对应用层载荷加密的流量识别能力有限、对新应用适应性差、在各监测点的灵活部署能力差。

流量特征分析法，不依赖于端口与应用层载荷、具有发现新流量特征的能力，但需要大量离线分析，甚至要涉及多个流，占用较多的内存，大部分方法的识别精度相对不高，适用于粗粒度流量识别。

基于机器学习的流统计特性识别法，可扩展性好、能识别加密数据流、无监督或半监督学习还能智能地发现未知应用流量，采用的分类器可扩展性和灵活性好、且无需经常更新，但流量类别细分能力不足、标签流获取困难。

由于近年来网络技术的发展，网络应用越来越丰富，网络内容种类层出不穷，特别是对等网络技术的发展，使得网络用户规模、应用类型和流量均呈爆发式增长。同时，互联网流量日趋复杂、动态、多变；而且越来越多的P2P应用以及恶意网络行为采用动态端口、伪装端口、应用层加密、分组填充等多种规避手段来逃避法律责任和躲避监测。目前，仅依赖于单个分类方法几乎不可能达到互联网流量分类的高效、准确、智能、实时地识别互联网流量，并能覆盖所有网络应用，具有较好的可扩展性，即识别出未知流量和加密流量，并具有好的灵活性以适用于各个网络监测点的要求。

发明内容：

本发明要解决的技术问题是，克服现有的技术缺陷，提供一种能够智能、精确、实时、有效地识别网络流量，具有好的完整性和可扩展性，能够满足不同应用目标和分类粒度的互联网流量分类需求的互联网流量分级分类方法。

本发明的技术解决方案是，提供一种互联网流量分级分类方法，它包括以下步骤：

A、粗粒度分类：采用基于机器学习的流统计特性法快速分类网络流量，把网络流量分成不同特征的应用类别类，粗粒度分类区分出的流量若需要使用，就直接输出，若需要进一步分类，则进入下一步。

B、细粒度分类：在粗粒度分类区分出的应用类别类中进行再一次分类，步骤如下：

1、采用端口匹配识别法进行分类，输出已分类的流量，

2、将上步完成后剩下的未分类流量，根据DPI流量特征标签库执行DPI分析识别法，分离出各应用流量，并输出，

3、对于上步完成后剩下的加密和未知流量，采用半监督机器学习算法分离并输出加密流量，余下的标识为未知的网络应用流量，

4、对标识为未知的网络应用流量，按分组长度执行基于最长公共子序列的应用层特征标签自动提取，

5、将上步中自动提取的新特征标签经确认补充到DPI特征标签库，输出已确认应用类型并添加标记的该未知应用流量。实现DPI特征的自动、智能更新与维护。

所述步骤4中，按分组长度执行基于最长公共子序列的应用层特征标签自动提取的提取方法步骤如下：

(1)目标应用流量按五元组聚集成流，并置入流池，所述五元分别为源地址、目标地址、源端口、目标端口、传输层协议；

(2)对流池中的目标应用流量根据{流持续时间，流的总字节数，分组到达时间间隔最大值，分组净荷长度最小值}所构成的向量采用k-means聚类网络应用流，去除噪声流；

(3)对同一网络应用流的平均分组长度用X-Means算法聚类，然后分别在聚类的样本流中各自提取应用层特征；

(4)确定每流有效检测分组数N_packet及分组净荷要检查的字节数N_byte，然后截取应用流中的相应净荷信息组装成字符串，在预处理得到的k个字符串中求取最长公共子序列；