[发明专利]一种基于知识图谱技术的分布式系统故障根因溯源方法

说明书

本发明公开了一种基于知识图谱技术的分布式系统故障根因溯源方法，用于解决大型分布式系统故障根因溯源困难问题。分布式系统故障根因溯源任务是找出导致系统故障的根本原因。本发明针对分布式系统中的故障为每类故障构建了故障知识图谱，构建过程中使用了模板技术从历史故障数据中生成事件，然后利用机器学习模型学习事件之间的关系构建故障传播图，最后使用合并算法抽取相同类型故障的故障传播图的共有结构生成故障知识图谱。故障发生时，通过构建计算实时故障传播图并与故障知识图谱之间的相似度，得到与实时故障传播图最相似的故障知识图谱，从而根据故障知识图谱标志的故障根因得到导致系统故障的根本原因。

技术领域

本发明属于知识图谱领域，具体涉及一种基于知识图谱技术的分布式系统故障根因溯源方法。

背景技术

随着虚拟化技术的快速发展，分布式系统越来越庞大且复杂。由于分布式系统的网络拓扑结构复杂、故障修复时间紧迫、高水平分布式系统运维人员稀缺等问题，当系统出现故障时，运维人员很难在短时间内找到根本原因，系统将处于不稳定状态。及时找出大型分布式系统故障的根因，保证系统的安全稳定运行是一个亟待解决的问题。近年来，越来越多的研究者开始关注这些问题，基于依赖图的方法和基于因果图的方法在应对复杂系统故障根因分析问题上取得了一些不错的成果。但是这些方法均存在两点局限性：1、它们尚未研究如何利用历史数据中隐藏的显式知识来指导当前的根因分析；2、它们无法完整地解释出事件层次的故障触发路径。

故障的传播路径蕴含着很多故障信息，传播路径上不同的设备和不同的传播顺序会导致不同的故障。而知识图谱是结构化的语义知识库，可以用来保存故障传播路径这种结构有限制的有向无环图。将故障传播路径这种显示知识沉淀为故障知识图谱，然后引入故障根因分析不仅可以提高根因分析精确率，还可以帮助运维人员了解故障传播过程，从而针对性地修复故障。

基于现有方法的局限性，本发明针对分布式系统中的故障为每类故障构建了故障知识图谱，提出了一种基于知识图谱技术的故障根因溯源方法。

发明内容

为解决上述问题，本发明公开了一种基于知识图谱技术的分布式系统故障根因溯源方法，该方法避免了大量重复的人工异常排查和故障诊断的工作，大大减少故障根因溯源时间，能够自动、频繁、高效地对分布式系统中的故障进行故障溯源，在保证了较小的故障溯源耗时的同时，也保证了故障溯源的质量。

本发明以分布式系统历史故障数据为起点，从历史metric数据和日志数据中生成事件。然后使用事件的特征训练关系分类器，利用关系分类器挖掘历史事件之间的关系，构建历史故障传播图。接着对相同故障的历史故障传播图抽取相似结构，构建故障知识图谱。当分布式系统发生故障时，收集实时故障数据，构建实时故障传播图，通过计算实时故障传播图与故障知识图谱之间的相似度，得到与实时故障传播图最相似的故障知识图谱，从而根据故障知识图谱标志的故障根因判断实时故障的根因。

为达到上述目的，本发明的技术方案如下：

一种基于知识图谱技术的分布式系统故障根因溯源方法，包括如下步骤：

1)收集分布式系统历史故障数据，使用异常检测算法和模板方法生成事件；

2)抽取事件的特征来训练关系分类器，然后利用关系分类器挖掘历史事件之间的关系，构建历史故障传播图；

3)对相同故障的故障传播图抽取相似结构，构建故障知识图谱，一个故障知识图谱标志着一种故障及其传播路径和根因；

4)收集分布式系统实时故障数据，通过步骤2)的方法构建实时故障传播图；

5)计算实时故障传播图与故障知识图谱之间的相似度，得到与实时故障传播图最相似的故障知识图谱，从而根据故障知识图谱标志的故障根因判断实时故障的根因。

本发明的基于知识图谱技术的分布式系统故障根因溯源方法中，上述步骤中运维事件、抽象运维事件、故障传播图、故障知识图谱按照如下方式定义：