[发明专利]一种网络流量分析方法、装置、存储介质及设备

说明书

本发明提供一种网络流量分析方法、装置、存储介质及设备。本发明技术方案首先基于流量时间序列数据之间的距离的计算，对流量时间序列数据进行聚类，并根据聚类结果，衡量时间序列的各个特征在聚类得到的各个类别中的分布的重叠程度，然后选择重叠程度较低的特征组成分析特征集，再利用分析特征集对流量时间序列数据提取特征并进行网络流量分析。与现有技术中的方案相比，本发明的技术方案具有特征选择更客观、分析结果可靠性高的优点。本发明技术方案可用于网络流量分类、预测、异常检测等，通用性强，用途广泛。

技术领域

本发明涉及网络安全和数据处理技术领域，具体涉及一种网络流量分析方法、装置、存储介质及设备。

背景技术

网络流量分析对于网络资源的优化配置和网络的安全应用具有重要意义。实时、准确的网络流量分析，可以为网络的正常、稳定和可靠运行提供保障。

对于流量时间序列数据进行分析，是网络流量分析的重要手段。流量时间序列数据分析，一方面可以直接对原始时间序列进行分析，另一方面，更多的分析方法是针对原始时间序列提取出一些特征，并利用提取出的特征做进一步的数据分析。在使用特征进行分析的情况下，特征的选择对分析结果往往有很大的影响。然而，网络流量分析往往是在无监督学习环境下，特征的选择没有先验知识的指导，对特征的价值的评价有较大的不确定性，得到的结果也常常难以解释和验证。

现有技术中的无监督环境下特征选择方法，大多是直接对待选特征进行聚类，再从中选出有代表性的特征。对于流量时间序列数据分析来说，这样只从特征本身来考虑，就忽略了原始时间序列的重要参考价值，对特征的价值评价的客观性不足，从而会影响到流量分析的结果。而以原始时间序列为参考，筛选用于网络流量分析的特征，则可使特征的选择更具客观性，使流量分析结果更可靠。

发明内容

本发明的目的是针对网络流量分析，提供一种网络流量分析方法、装置、存储介质及设备，通过时间序列原始数据衡量特征的价值，筛选特征并进一步进行网络流量分析，以提高网络流量分析的可靠性。

为了实现上述目的，本发明技术方案提供一种网络流量分析方法，所述方法包括以下步骤：

S1、获取不同时间段和/或不同空间和/或不同地址和/或不同业务的多个流量时间序列数据；

S2、基于所述多个流量时间序列数据之间的距离的计算，对所述多个流量时间序列数据进行聚类；

S3、根据对所述多个流量时间序列数据聚类的结果，从时间序列待选特征集中筛选出一项或多项特征，组成分析特征集；其中筛选特征的原则是，通过衡量特征值或特征向量在聚类得到的各个类别中的分布的重叠程度，选择所述重叠程度较低的特征；

S4、根据所述分析特征集，对流量时间序列数据提取特征并进行网络流量的分类和/或预测和/或异常检测。

基于上述，所述的对所述多个流量时间序列数据进行聚类，包括：使用划分聚类方法或者层次聚类方法，对所述多个流量时间序列数据进行聚类。

基于上述，步骤S3具体为：

针对所述时间序列待选特征集中的每项特征F_k，计算所述多个流量时间序列数据的特征值或者特征向量，其中k＝1,…,M；M是所述时间序列待选特征集中特征的项数；

根据对所述多个流量时间序列数据聚类的结果，假设聚类得到N个类别，对于所述每项特征F_k：

如果F_k的取值为离散型，则分别计算在聚类得到的每个类别中，F_k的概率函数P_ki(x)(x＝x1,x2,x3,……)，i＝1,…,N；对于P_k1(x),…,P_kN(x)，求其两两之间的差的绝对值并相对于x的所有取值求和，再将所有和值相加，得到其中x＝x1,x2,x3,……；