[发明专利]一种基于无监督模型的网路质量异常检测方法及装置

权利要求书

1.一种基于无监督模型的网路质量异常检测方法，其特征在于，该方法包括：

步骤一，数据获取及预处理

通过数据采集系统获取到用于判断网络质量是否异常的多指标性能数据；对异常数据进行清洗；所有的指标进行归一化处理,得到处理后的指标数据；根据不同指标数据确定不同指标的权重；

步骤二，使用受限玻尔兹曼机建模

步骤三，根据目标的异常数据比例确定判定阈值

建模完成后，将训练数据重新带入受限玻尔兹曼机模型计算，得到关于训练数据的重构数据；计算所有数据的加权欧式距离后，根据设定的异常数据的比例来确定异常判断的阈值；

步骤四，计算测试数据，通过阈值判断异常

将测试数据带入受限玻尔兹曼机模型计算，得到重构数据，计算重构数据和原测试数据的加权欧式距离，对于加权欧式距离过大，即超过步骤三中的阈值的样本，判断其为异常数据。

2.根据权利要求1所述的基于无监督模型的网路质量异常检测方法，其特征在于，所述步骤一中多指标性能数据至少包括以下内容的任意一项或任意项组合：

网络测速数据、宽带用户光衰数据以及pon口流量利用率数据。

3.根据权利要求1所述的基于无监督模型的网路质量异常检测方法，其特征在于，所述步骤一中对异常数据进行清洗，包括：

对于有缺失值的数据和连续值数据，选取平均值进行填充；对于离散值数据，选取众数进行填充；对于数据存在明显异常值的情况，将该数据进行删除处理。

4.根据权利要求1所述的基于无监督模型的网路质量异常检测方法，其特征在于，所述步骤一中归一化处理采用min-max标准化方法。

5.根据权利要求4所述的基于无监督模型的网路质量异常检测方法，其特征在于，所述归一化处理公式为：

式中，x是单指标的原始值，min是该单指标在所有数据集中的最小值，max是该单指标在所有数据集中的最大值，x^*是该单指标归一化处理后得到的值。

6.根据权利要求1所述的基于无监督模型的网路质量异常检测方法，其特征在于，所述步骤一中根据不同指标数据确定不同指标的权重，包括：

对于每一条单一的指标数据，一个尺度单位设为该指标数据分布的方差值的倒数；

通过统一除以权重中最小值的数来实现所有权重统一数值范围，此时权重最小的指标权重为1，其余指标权重均大于等于1；

若需要根据先验经验改变各指标的权重，则人工定义各指标先验经验的权重，将定义好的先验经验权重与权重指标相乘，得到新的权重指标。

7.根据权利要求1所述的基于无监督模型的网路质量异常检测方法，其特征在于，所述步骤三中加权欧氏距离的计算公式为：

式中，x_i是第i个归一化处理后的原性能指标数据，y_i是第i个经过模型重构后的性能指标数据，w_i是步骤一计算得到的权重。

8.一种基于无监督模型的网路质量异常检测装置，其特征在于，该装置包括：

数据获取及预处理模块，用于通过数据采集系统获取到用于判断网络质量是否异常的多指标性能数据，对异常数据进行清洗，所有的指标进行归一化处理,得到处理后的指标数据，根据不同指标数据确定不同指标的权重；

建模模块，用于使用受限玻尔兹曼机建模；

阈值确定判定模块，用于建模完成后，将训练数据重新带入受限玻尔兹曼机模型计算，得到关于训练数据的重构数据，计算所有数据的加权欧式距离后，根据设定的异常数据的比例来确定异常判断的阈值；

异常数据判断模块，用于将测试数据带入受限玻尔兹曼机模型计算，得到重构数据，计算重构数据和原测试数据的加权欧式距离，对于加权欧式距离过大，即超过阈值确定判定模块中的阈值的样本，判断其为异常数据。