[发明专利]一种无监督指标异常检测方法

说明书

本发明涉及一种无监督指标异常检测方法，该方法包括：预先将指标突变异常进行分类；根据指标突变异常的不同类别的性质，将对应的指标类型划分为不同类型；获取待检测指标数据，对于一条指标及其一定长度的历史数据，对其所属指标类型进行判断；判断指标类型后，对指标数据进行预处理；对指标逐点提取稳定性特征，并将其转变为平稳型指标，随后通过计算上、下阈值并与上、下阈值比较的方法来进行异常检测，当平稳型指标的实际值大于上阈值时，检测为突增异常，当平稳型指标的实际值小于下阈值时，检测为突降异常。与现有技术相比，本发明具有提高召回率和准确率、检测效率高、拓宽检测适用场景等优点。

技术领域

本发明涉及计算机技术领域，尤其是涉及一种无监督指标异常检测方法。

背景技术

运维系统的异常指标检测模型负责监控运维系统中关于应用、硬件等多个分支的指标。每个指标的数据均进行采集，并输入模型及时反馈异常情况。目前常用的异常指标检测方法主要以下三种类型：

1、传统的统计学模型。例如设定固定阈值的检测模型，滑动平均模型，ARIMA模型等。

2、监督集成方法。例如EGADS，Opprentice等，这些模型以传统的统计模型(平均取多个参数)计算出来的异常分数作为数据的特征向量，以用户标注数据的异常状态作为标签来训练一个集成模型(如随机森林模型等)作为异常分类器(二元分类器)，随后利用训练出来的模型去检测异常。

3、基于VAE等的无监督预测模型，例如DONUT。

然而上述常用的异常指标检测方法存在以下不足：

a)传统的统计学模型需要大量的调参工作，且调试出来的模型准确率低，误报率高。

b)监督集成方法需要大量的人工标注工作，现实情况是，一家机构或者公司监测的指标并非一条两条而是成百上千，成千上万条，且随着系统的更新，会有新的指标纳入监测系统，且对于同一条指标，在系统更新后旧的模型也有可能不适用。这将导致基于监督的模型的使用场景大大受限。

c)基于VAE的DONUT模型的缺点，一是需要一定的人工调参才能有较好的效果；二是在模型训练的时候因为没有标签数据，导致模型会把历史数据中的异常数据当作正常数据去学习，降低了模型的检测效果；三是需要大量的历史数据才能学到一个较好的模型并且召回率高但是准确率低(误判率高)；四是适用场景有限，只适用于周期型的指标数据。

发明内容

本发明的目的就是提供一种无监督指标异常检测方法，以至少部分地解决上述现有技术存在的缺陷。

本发明的目的可以通过以下技术方案来实现：

一种无监督指标异常检测方法，该方法包括如下步骤：

预先将指标突变异常进行分类；

根据指标突变异常的不同类别的性质，将对应的指标类型划分为不同类型；具体划分为周期型指标、稳定型指标和长期波动大、短期波动小指标。

获取待检测指标数据，对于一条指标及其历史数据，对其所属指标类型进行判断；首先判断待检测指标数据是否为周期型数据，若不是，则在根据其长期和短期波动的大小判断其为稳定型指标还是长期波动大短期波动小的指标。首先判断待检测指标数据是否为周期型数据的具体内容为：计算待检测指标数据的历史数据相邻周期之间的SBD，取其平均值，若该平均值小于一个固定阈值，则判断待检测指标数据为周期型指标，反之则不是。

判断指标类型后，对指标数据进行预处理；具体地，对指标数据进行标准化处理，对标准化后的数据利用邻近值的均值补全缺失值；对于周期型指标的预处理过程，还包括在补全缺失值后，采用滑窗内数据的均值替代原始数据以减小数据的波动性。