[发明专利]一种用于运维数据的无监督异常检测和鲁棒趋势预测方法

说明书

一种用于运维数据的无监督异常检测和鲁棒趋势预测方法，涉及计算机系统异常检测技术和趋势预测技术。1)模型设计：变分自编码器作为异常检测模块，为模型的前半部分；长短时记忆网络作为趋势预测模块，为模型的后半部分；2)原始运维时序数据经历数据补全，归一化处理，以及采用滑动窗口将数据分割成固定长度的时序段输入到模型；3)采用变分自编码器重构输入的时序段，从而分离出异常点，达到异常检测的目的；4)将自编码器重构的时序段输入到趋势预测模块，预测下一时刻的状态值。减少时间序列中原有的异常和噪声对长短时记忆网络的影响，提高长短时记忆网络的鲁棒性；提高性能的同时又减少性能在不同数据之间的波动。

技术领域

本发明涉及计算机系统异常检测技术和趋势预测技术，尤其是涉及可应用到互联网公司中基于智能运维监控等领域的一种用于运维数据的无监督异常检测和鲁棒趋势预测方法。

背景技术

现有一条单变量时间序列X＝{x₁,…,x_t,x_t+1,…,x_n-1,x_n}，t表示时间戳，x_t表示t时刻的计算机系统某一运行指标的状态值。给定从1到t之间的状态值，异常检测需要判断出x_t是否异常。趋势预测需要估计出下一个时刻的状态值，即x_t+1的值。异常检测与趋势预测是智能运维监控领域中两个基础且关键的任务，可以极大地减少人力运维成本和运行故障所造成的损失。

对于异常检测，由于异常的罕见性和漂移性以及标签标注的困难和昂贵，在实际场景中想收集大量可用的标注数据用于异常检测模型的训练是不实际的，所以用无监督的方式进行异常检测更受青睐且更为实际。对于趋势预测，由于在实际场景中，时间序列不可避免地含有异常和噪声，会极大地影响一些原本在理想的实验环境中表现良好的趋势预测模型的性能，所以趋势预测模型的鲁棒性越发受到重视。因此，无监督异常检测和鲁棒趋势预测是本发明所关注并解决的两个任务。

然而，目前并没有对无监督异常检测和鲁棒趋势预测这两个任务进行联合训练的方法，且只用于无监督异常检测和只用于鲁棒趋势预测的大多数方法都存在一些尚待解决的问题。对于无监督异常检测，大多数方法都基于滑动窗口所划分出的样本来训练离群点检测模型或生成模型，如变分自编码器。但基于滑动窗口的这类方法在训练过程中窗口样本之间是独立且是随机打乱的，这忽略了窗口间所存在的时序信息，使得检测性能在不同数据之间不稳定。对于鲁棒趋势预测，一种常用的方法是抑制输入或梯度较大的值，防止预测模型受异常影响，但是这种方法性能不佳；另外一种相对有效的方法是基于集成学习训练多个多样的趋势预测模型，来产生一个鲁棒的预测结果，但是这种方法不可避免地会造成多倍的计算力消耗。

发明内容

本发明的目的在于针对无监督异常检测和鲁棒趋势预测这两个任务进行联合训练并解决现有技术在这两个任务存在的上述问题，提供可应用到基于人工智能的运维监控等领域的一种用于运维数据的无监督异常检测和鲁棒趋势预测方法。

本发明包括以下步骤：

1)模型设计：变分自编码器作为异常检测模块，为模型的前半部分；长短时记忆网络作为趋势预测模块，为模型的后半部分；

2)数据预处理：原始运维时序数据经历数据补全，归一化处理，以及采用滑动窗口将数据分割成固定长度的时序段输入到模型；

3)异常检测：采用变分自编码器重构输入的时序段，从而分离出异常点，达到异常检测的目的；

4)趋势预测：将自编码器重构的时序段输入到趋势预测模块，预测下一时刻的状态值。

在步骤1)中，所述模型设计的具体方法可为：