[发明专利]一种基于社区检测的运维告警场景生成方法

说明书

本发明提供一种基于社区检测的运维告警场景生成方法，方法包括：第一步：设置前提；第二步：定义基本参数；第三步：数据预处理；第四步：拓扑划分；第五步：生成两个告警模板之间的特征矩阵；第六步：构造告警模板相似度矩阵；第七步：将告警模板相似度矩阵转化为图结构；第八步：运用社区检测Louvain算法将相关联的告警聚类到同一场景；第九步：场景过滤；第十步：场景验证。本发明提供的方法可将相互关联具有因果关系的内容划分到一起生成场景，帮助运维人员快速诊断与排障。

技术领域

本发明属于计算机技术领域，具体涉及一种基于社区检测的运维告警场景生成方法

背景技术

近年来，在运维领域数据驱动算法通过对告警事件分析来定位硬件、网络等系统故障的方法，得到了 广泛的关注。在IT基础设施中，告警事件的数量可能是无限多的，但是告警事件之间可能存在连锁反应， 其他的告警事件都是由某一个关键告警事件引起的。比如，网络基础结构的核心组件(交换机)发生故障 并断开连接，则它将影响许多其他与其互连的组件，这些组件会在相近的时间发送告警事件。

本发明利用矩阵和图之间的类别等价性，将时间相似性的聚类转化为图划分问题，运用社区检测 Louvain算法将具有因果关系的告警事件聚类到同一个场景中。在大规模日志或告警数据中，将相互关联 具有因果关系的内容划分到一起生成场景，帮助运维人员快速诊断与排障。

发明内容

本发明的目的在提供一种基于社区检测的运维告警场景生成方法，将具有因果关系的告警事件聚类到 同一个场景中，运维人员可以观察该场景中的告警事件，定位导致该场景出现的根本原因。所述方法包括 如下步骤：

第一步：设置前提

某个组件发生错误时，与其相连的组件同样也会报错，具有因果关系的告警事件总是相伴随发生；

第二步：定义基本参数

tolerance：时间间隔，两个告警事件发生的时间间隔在tolerance以内时，算是有相关联的告警事 件，用于告警模板特征矩阵生成；

threshold：相似度阈值，计算两个告警模板下包含告警事件的相似度，大于阈值时两个告警模板相 似，否则不相似，用于告警模板相似度矩阵生成；

numContain：场景中包含的告警模板的最少数量，场景中包含的告警模板数量大于numContain时保 留该场景，否则丢弃，用于场景过滤；

support：支持度，告警模板中包含告警事件的个数，小于支持度时该告警模板不参与场景的生成；

第三步：数据预处理

对原始的告警事件利用日志聚类算法，进行提取模板，返回每个告警事件所属的模板id；

第四步：拓扑划分

用户提供主机拓扑关系图时，将处理后的告警事件根据拓扑关系划分数据集，进而在每个子数据集上 利用场景生成方法生成场景，否则在整个数据集上进行场景生成；

第五步：生成两个告警模板之间的特征矩阵

将告警事件按照所属的模板id进行分组，利用滑动窗口机制构造每对告警模板之间特征矩阵；

第六步：构造告警模板相似度矩阵

构造告警模板相似度矩阵M_|A|*|A|，|A|表示告警模板的数量，矩阵中的值M_ij用下面计算公式计算：

jaccard(A_i，A_j)为两个告警模板的特征矩阵的Jaccard相似度；