[发明专利]一种基于细粒度事件和KPIs分析的异常原因获得方法

说明书

本发明公开了一种基于细粒度事件和KPIs分析的计算机异常原因获得方法。首先，输入的是原始的时间序列和细粒度事件序列。在有了输入之后，首先对KPIs特征进行提取组成新的时间序列数据。与此同时，将众多的原始的KPIs进行聚类，这样做的目的是将相似的KPIs找出来，为后续分析相关性节约处理时间做准备。没有必要对所有的时间序列和事件进行相关分析，而是根据快速聚类结果来处理部分数据即可，这样可以提高处理效率。最后，所有的结果进行关系分析生成直观的异常因果图，为相关人员异常排查提供有力保障。本方案异常识别中的F1‑score值可以达到0.79左右。此外，此方案法可以将细粒度事件与KPIs异常关联起来，并最终能分析异常背后的多种原因。

技术领域

本发明属于计算机异常检测领域，一种基于细粒度事件和KPIs分析的异常原因分析方法。

背景技术

目前，大型internet的服务公司通过数千台服务器提供大量的服务和应用程序。然而，服务由于某种原因中断是不可避免的，例如，断网、服务器停机、攻击、误操作等等。为了保持竞争力，这些公司的经营者努力保持他们的服务可靠。他们不断地监视KPIs(KeyPerformance Indicators)，这基本上都是一些时间序列的数据，例如服务质量度量、成功率和请求数量等。实际中，一个异常往往会导致某些KPIs数据异常，而这些异常的KPIs又会导致别的KPIs异常波动，这就造成大面积数据异常报警。每当突发事件发生之后，系统人员第一要务就是分析异常的根本原因，在最短的时间内使系统恢复正常，将损失降到最低。实际根因分析过程漫长且复杂，由于涉及到多组人员，由于彼此互相不了解，最终分析的过程可能演变成不同组的人员互相责怪。

以往大多数的研究得到的异常仅仅是数学统计意义上的异常，并不是实际中用户所关心的异常。用户想被告知可能是由于某些具体细粒度操作事件(例如，登录，更新配置文件，删除等操作)导致了现状而不是仅仅数学统计的异常报警。所以如何在纷繁交错的异常报警中，如何清晰的呈报导致异常的多种原因或者根本原因是非常具有挑战性的。

大量的研究分析了不同类型数据的相关性，这些相关性可以分为三类：KPIs之间的相关性分析、事件之间相关性分析和KPIs和事件之间相关性分析。

这些关联算法主要分析原始KPIs之间的相关性，或者将KPIs转化为事件，利用事件分析相关性。这些方法大多粒度比较粗或者不能很好地展示识别因果关系。

发明内容

本发明的目的在于提供一种基于细粒度事件和KPIs分析的异常原因获得方法，以解决上述问题。

为实现上述目的，本发明采用以下技术方案：

一种基于细粒度事件和KPIs分析的异常原因获得方法，包括以下步骤：

步骤1：读取细粒度事件数据和原始KPIs数据；

步骤2：对输入的原始KPIs数据进行特征提取获得新的KPIs数据；

步骤3：将原始的KPIs数据进行快速聚类，将相似的KPIs归类成簇，先只对事件序列和簇“中心点”进行初步分析，为后续进一步相关性分析节约处理时间做准备；

步骤4：将细粒度事件数据和步骤3得到的每一类簇中心的特征提取后新的KPIs数据进行相关分析得出结果；相关分析具体包括：这两者是否相关，如果相关，是谁先发生，是正相关还是负相关；

步骤5：所有的结果进行关系因果分析；

步骤6：生成异常因果图时，给出相关KPIs类中相似度前N项的KPIs数据之间的关联关系，就可反向进行关系分析生成多因异常因果图。

进一步的，步骤2的特征提取是通过时间序列提取不同异常波动的特征。

进一步的，步骤2的特征提取是把原始KPIs数据中孤立点、转折点和异常区域三种不同的异常进行识别和有机的加权组合。