[发明专利]一种时序数据异常检测方法、装置及介质

说明书

本申请涉及一种时序数据异常检测方法，包括按时序采集服务器硬件的性能数据并存储；从所述性能数据中取样，通过变分自编码器对取样的所述性能数据进行重建，得到预测数据；利用所述预测数据与所述性能数据求误差得到误差序列；自适应的选取阈值，通过POT模型对所述误差序列进行阈值判断，得到性能数据中的异常点；根据异常点对应的性能数据，获取异常发生时刻。本申请提供一种时序数据异常检测装置实现上述方法，本申请还提供一种上述方法的承载介质。本申请能够使用无监督学习算法，对性能数据进行重建，一定程度上消除了常规统计模型的不准确性，本申请自动批量寻找异常点，效率高。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种时序数据异常检测方法、装置及介质。

背景技术

在实际服务器运行过程中，偶尔会发生数据异常，发生异常时需要维护人员找到服务器运行中数据异常发生的时刻，对服务器进行对应的质量分析查找数据异常原因。

CPU、内存和硬盘的性能数据在一定程度上反应服务器的运行状态，对这些性能数据中还有与异常相关的特征，对这些性能数据进行处理分析能够定位服务器运行的异常。

服务器运行时，由于工作环境变化，服务器的工作负载常常处于非稳态的状态，而数据异常发生概率往往比较低，在长时间运行过程中，数据样本往往较大，异常数量相对数量少造成了定位异常十分困难；而且某些异常发生时，在性能数据图表上表现为是短时间内的尖刺，对于这种异常肉眼难以识别，导致异常标记比较困难；常规的异常统计方法确定异常的准确性低，而基于监督学习的算法由于正负样本不平均造成模型训练困难。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种时序数据异常检测方法、装置及介质。

一方面，本申请提供了一种时序数据异常检测方法，包括：

时序采集服务器硬件的性能数据；

通过变分自编码器对所述性能数据进行重建，得到预测数据；

利用所述预测数据与所述性能数据求误差得到误差序列；

通过POT模型对所述误差序列进行阈值判断，得到性能数据中的异常点，并通过采集的所述性能数据的时序确定异常点时刻。

更进一步地，所述服务器硬件包括CPU、内存以及硬盘,所述性能数据包括CPU利用率、CPU用户利用率、内存利用率以及硬盘使用率。

更进一步地，所述通过变分自编码器对所述性能数据进行重建，得到预测数据包括：

对预设时间内的所述性能数据进行归一化，得到归一化数据；

将所述归一化数据输入到所述变分自编码器，得到正态分布参数z_mean和z_var，确定隐向量的正态分布，引入高斯分布的噪声，将所述噪声与所述正态分布融合获取添加噪声的隐向量；

使用解码器将隐向量解码及逆归一化得到所述预测数据。

更进一步地,对预设时间内的所述性能数据进行归一化方式为：

x_std＝(x-x_min)/(x_max-x_min)，x_scale＝min+x_std/max-min，其中，x为性能数据，x_max为每类所述性能数据中的最大值，x_min为每类所述性能数据中的最小值，x_std为所述性能数据的标准化结果，max为x_std中的最大值，min为x_std中的最小值，x_scale为所述性能数据的归一化结果。

更进一步地，求所述误差序列公式如下：