[发明专利]一种自适应的半监督网络流量分类方法、系统及设备

说明书

本发明涉及一种自适应的半监督网络流量分类方法、系统及设备，该方法包括：获取网络流，提取每条网络流中预设固定量的流特征，得到网络流特征向量；根据已标记的网络流特征向量，计算出每个类型中的网络流特征向量集合的质心，得到向量集M；以向量集M为初始中心点，进行自适应的半监督k‑means聚类；根据最大后验概率，将得到的每类簇中的网络流映射到所属的流量类型；将已知类型的流量簇作为训练数据，训练出线上的流量分类器。还涉及一种系统，该系统包括：获取模块、向量集处理模块、聚类模块、分类模块、输出模块。还涉及一种设备，该设备包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序。

技术领域

本发明属于网络流量管理领域，尤其涉及一种自适应的半监督网络流量分类方法、系统及设备。

背景技术

传统的基于网络流的方法大多采用监督的或无监督的机器学习算法来实现网络流量分类。在有监督的流量分类中，学习引擎接受一组已标记的流样本，根据预定义的协议类别进行训练，然后返回一个训练好的分类模型，该分类模型可以预测未来网络流的协议类型。然而，随着网络的迅速扩展，互联网上部署了许多新的应用程序，这些应用对应的未知流是基于监督学习的分类方法无法处理的。在这种情况下，未知流将被错误地划分到某个预定义的流量类别中去，并影响分类器的整体精度。基于无监督学习的分类方法可以自动聚类未标记的训练样本，应用聚类结果构建流量分类器。但是聚类簇的数目必须被设置得足够大，以得到高纯度的流量簇，而且很难在没有监督信息的情况下将大量的流量簇映射到少量的流量类别中。

因此，传统的流量分类方法在标记信息不足，且网络中存在未知流量的现实情况下表现不佳。为了解决这个问题，Erman等人首先提出了将半监督学习方法应用到流量分类中，利用有标记流和未标记流的混合输入，训练出一个可以将已知协议分类的同时提取出未知协议的分类器。张等人扩展了Erman的工作，提出了一种改进的半监督流量分类方法，该方法在复杂的网络环境下表现良好。但是这样依然存在一些问题，比如：在训练阶段不能自动确定最佳参数，需要人工手动调参，不能实现系统的参数自适应。

发明内容

本发明所要解决的技术问题是：现有的在训练阶段不能自动确定最佳参数，需要人工手动调参，不能实现系统的参数自适应。

为解决上面的技术问题，本发明提供了一种自适应的半监督网络流量分类方法，其特征在于,该自适应的半监督网络流量分类方法包括：

S1，获取已标记类型和未标记类型的网络流，提取每条网络流中预设固定量的流特征，得到网络流特征向量；

S2，根据已标记的网络流特征向量，计算出每个类型中的网络流特征向量集合的质心，得到向量集M；

S3，以所述向量集M为k-means聚类的初始中心点，对混合的已标记类型和未标记类型的网络流特征向量集X进行自适应的半监督k-means聚类；具体地，首先得到k个簇和k个簇中心点，分别计算具体定义的评价函数，同时更新所述向量集M，得到新的向量集M，并计算出距离新的向量集M的中心点最远的k个向量点，根据具体定义的密度计算公式，确定在最远的k个向量点中密度最大的向量点，并将密度最大的向量点添加到新的向量集M中；然后设置新的k值，根据所述新的中心点集M和所述新的k值，重复执行上一步骤，直到k值大于预设最大阈值；最后统计所有评价函数的值，从所有评价函数的值中选取最小评价函数的值，以及与该最小评价函数的值对应的k值，并输出在所述对应的k值时k-means的聚簇；

S4，根据输出的聚簇中每个簇的已标记网络流特征向量的最大后验概率，将得到的每类簇中的网络流映射到所属的流量类型中，得到已知类型的流量簇；

S5，将所述已知类型的流量簇作为训练数据，训练出线上的流量分类器。