[发明专利]一种基于无监督模型的网路质量异常检测方法及装置

说明书

本发明公开一种基于无监督模型的网路质量异常检测方法及装置，其中，该方法包括：数据获取及预处理；使用受限玻尔兹曼机建模；根据目标的异常数据比例确定判定阈值；计算测试数据，通过阈值判断异常。该方法及装置通过受限玻尔兹曼机的计算能够找出多特征网络数据的正常分布范围，同时通过加权欧氏距离的计算可以找出异常样本，又可以根据实际数据情况调整不同特征的权重从而改变对于异常数据的筛选判断；对于没有标签样本的数据，可以有效的检测出网络质量异常的数据，且准确性较高。

技术领域

本发明涉及网络异常检测领域，尤其是一种基于无监督模型的网路质量异常检测方法及装置。

背景技术

网络性能数据通常数据量较大且难以全部给出网络质量是否异常的标签，故网络性能数据属于无标签数据。现有技术方案中，对于网络异常检测采用的比较常用的方法是使用某一采集装置获取到某一性能数据，通过判断该性能指标是否超过阈值或性能指标是否在一定时间内发生突变来判断网络是否异常，部分采用无监督进行网络质量异常判断方法的建模较为简单，准确性无法得到较好的保证。

发明内容

为克服常用的网络异常检测方法存在的上述问题，本发明提供一种基于无监督模型的网路质量异常检测方法及装置。

为实现上述目的，本发明采用下述技术方案：

在本发明一实施例中，提出了一种基于无监督模型的网路质量异常检测方法，该方法包括：

步骤一，数据获取及预处理

通过数据采集系统获取到用于判断网络质量是否异常的多指标性能数据；对异常数据进行清洗；所有的指标进行归一化处理,得到处理后的指标数据；根据不同指标数据确定不同指标的权重；

步骤二，使用受限玻尔兹曼机建模

步骤三，根据目标的异常数据比例确定判定阈值

建模完成后，将训练数据重新带入受限玻尔兹曼机模型计算，得到关于训练数据的重构数据；计算所有数据的加权欧式距离后，根据设定的异常数据的比例来确定异常判断的阈值；

步骤四，计算测试数据，通过阈值判断异常

将测试数据带入受限玻尔兹曼机模型计算，得到重构数据，计算重构数据和原测试数据的加权欧式距离，对于加权欧式距离过大，即超过步骤三中的阈值的样本，判断其为异常数据。

进一步地，步骤一中多指标性能数据至少包括以下内容的任意一项或任意项组合：

网络测速数据、宽带用户光衰数据以及pon口流量利用率数据。

进一步地，步骤一中对异常数据进行清洗，包括：

对于有缺失值的数据和连续值数据，选取平均值进行填充；对于离散值数据，选取众数进行填充；对于数据存在明显异常值的情况，将该数据进行删除处理。

进一步地，步骤一中归一化处理采用min-max标准化方法。

更进一步地，归一化处理公式为：

式中，x是单指标的原始值，min是该单指标在所有数据集中的最小值，max是该单指标在所有数据集中的最大值，x^*是该单指标归一化处理后得到的值。

进一步地，步骤一中根据不同指标数据确定不同指标的权重，包括：

对于每一条单一的指标数据，一个尺度单位设为该指标数据分布的方差值的倒数；

通过统一除以权重中最小值的数来实现所有权重统一数值范围，此时权重最小的指标权重为1，其余指标权重均大于等于1；