[发明专利]基于条件变分自动编码器的KPI异常检测方法、装置和计算机存储介质

说明书

本申请提出了一种基于条件变分自动编码器的关键性能指标KPI异常检测方法，涉及互联网服务异常检测技术领域，其中，该方法包括：获取关键性能指标KPI数据，所述KPI数据包括待检测数据和历史数据；对所述KPI数据进行预处理，获得滑动窗口和所述滑动窗口对应的时间条件向量；对滑动窗口进行缺失点填补，获得新的滑动窗口；根据所述新的滑动窗口和所述滑动窗口对应的时间条件向量，通过预设的条件自动变分编码器CVAE模型计算所述新的滑动窗口的负重构概率，将所述负重构概率作为异常分数；根据所述异常分数确定所述KPI数据是否异常。采用上述方案的本发明在保持其性能高、不需要选择算法和精调参数、不依赖标注、时间开销小的优势上，进一步提升了稳健性。

技术领域

本申请涉及互联网服务异常检测技术领域，尤其涉及一种基于条件变分自动编码器的关键性能指标KPI异常检测方法方法和装置。

背景技术

为了保证互联网服务的可用性，关键性能指标(key performance indicator,KPI)被用来监控服务的状态，例如每分钟的页面访问数，在线用户数和订单数目等。在大型的互联网服务中，可能有多达数万甚至数十万的KPI需要监控。为了及时检测其中的异常，从而及时处理故障，自动化的KPI异常检测算法是必需的。

KPI通常是周期性采集的，例如每一分钟或者每10秒钟采集一次。因此KPI是一个时间序列，它包含一系列数据点，每个数据点对应一个时间点。由于一些技术问题或者业务问题，有的时间点可能没有采集到对应的KPI值，我们称这样的KPI数据点为缺失点。但是这类数据点是可以直接和正常点区分开的，因此本文中说的异常点不包括这样的缺失点，而非正常点则包括异常点和缺失点。我们将异常点定义为不符合KPI的正常模式的点。

现有的技术可以分为几类：

传统统计方法，通过对数据的正常模式做出某种统计假设，并基于历史数据估计对应的参数，从而建模数据的正常模式；

有监督集成方法。通过有监督的机器学习方法对传统统计方法的效果进行集成；

传统机器学习方法。通过传统机器学习方法(非深度学习的方法)直接检测KPI的异常；

序列深度学习方法。将KPI作为序列(长度不固定)进行处理的深度学习方法；

非序列深度学习方法。将KPI通过滑动窗口等方法变成向量(长度固定)再训练深度学习模型的方法。例如Donut，Donut使用VAE模型对滑动窗口建模，将数据点在滑动窗口最后一个点的位置时的重建概率作为异常分数。

现在的技术需要人工对不同类型KPI选择合适的算法和调节合适的参数，传统统计方法因为对KPI的正常模式有一定的统计假设，因此往往只能适用于一部分类型的KPI，同时有些传统机器学习法适用的KPI类型也有局限，都需要精调参数；依赖人工标注，因为KPI数量巨大，用人工标注历史KPI数据中的异常训练有监督(监督指用于建模的历史数据中有每个数据点是正常还是异常的标注)算法是困难的，所以有监督集成方法，但是一些有监督机器学习方法都不实用；异常检测性能差，传统统计方法和传统的机器学习方法因为适用性的问题，对KPI的异常检测效果可能会较差；时间开销大，部分传统统计方法耗时很长，有监督集成算法如果集成了这类方法，耗时也会很长；稳健性差，深度学习算法因为模型复杂，在部分特殊的KPI曲线下表现会较差。

本项目聚焦于业务相关的KPI(与机器资源型KPI相对)，例如页面访问数，在线用户数和订单数等。这类KPI因为直接受到用户行为的影响，因此表现出强烈的周期性。但是这些KPI在每个周期不是完全相同的，因为每天的用户行为也不会完全一致，我们称这种现象为局部差异。除了周期性和局部差异之外，KPI还包含了随机噪声。因此KPI的正常模式包括1)带局部差异的周期性2)随机噪声。

因为KPI数量巨大，用人工标注历史KPI数据中的异常训练有监督(监督指用于建模的历史数据中有每个数据点是正常还是异常的标注)算法是困难的。因此我们需要无监督的异常检测算法。