[发明专利]一种基于强化学习和知识图谱的设备故障溯因方法

说明书

本发明公开了一种基于强化学习和知识图谱的故障溯因方法，包括：(1)构建样本实例，编码样本实例，得到包含设备的节点表示、告警信息表示的样本实例表示，根据根因对编码得到根因关系表示；(2)基于强化学习构建策略网络，用于根据环境状态信息确定下一时刻的动作决策；(3)根据设定的时间步长阈值内动作决策结果构建奖励值，利用依据奖励值构建的损失函数更新策略网络参数、节点表示、告警信息表示、根因关系表示；(4)应用时，将实例表示作为策略网络的输入，利用策略网络获得接下来每个时刻里连接的设备节点，依据连接的每个设备节点追溯得到故障设备节点对应的根因设备节点。可以从故障节点开始溯因，通过因果链找到根因节点。

技术领域

本发明属于故障检测领域，具体涉及一种基于强化学习和知识图谱的故障溯因方法。

背景技术

知识图谱作为一种特殊的图数据，是一种人类可识别并且对机器友好的知识表示。作为一种应用型技术，知识图谱在很多领域中都得到了广泛的应用，例如信息检索、自然语言理解、问答系统、推荐系统、金融风控、教育医疗等。然而，如何自动化地构建高质量的知识图谱，以及如何充分地利用知识图谱的实体和关系所包含的语义进行推理，仍是需要研究的问题，比如说使用知识图谱的链接预测算法。链接预测指给定头实体(或尾实体)和关系，预测实体在该关系的对应的尾实体(或头实体)，当然也可以给定两个实体预测它们最有可能存在的关系。因此，一方面我们可以利用链接预测来补全已有的知识图谱，另一方面链接预测算法也可以看作是利用知识图谱已有的语义信息做推理，这在一些应用例如问答系统中是非常有帮助的。在知识图谱的链接预测算法，一些研究者进一步引出了可解释性问题的研究。其不仅仅是作出链接预测，还需要解释作出这样选择原因，表示为一条解释性的路径，相关工作为设备溯因的场景提供了思路上的启发。

故障溯因检测是一种特殊的场景。其设备之间可以由不同的关系，可以由知识图谱来表示。更明确的说，设备之间构成的图谱是一种动态的知识图谱。在这样的图谱里面，会存在一些特殊的“现象”。比如说某一个节点发生了故障，因为节点之间存在着依赖的关系，所以该节点的故障会依次向外传播，形成一条故障传播的链路。同时每一个被影响到的设备节点都会产生一些表征现象。这种现象被称为告警，可以理解为向外发出的警告，包含了该节点故障的一系列的信息，比如说是故障的种类、故障发生的时间等。最终这条故障链路会传播到最上层的某一些节点，这些节点会产生一种名叫KPI(Key PerformanceIndicator，关键绩效指标)的信息，同样的用来描述故障。当维修专家进行维修时，其首先接触到的最表层的故障节点。然后根据一系列的告警和KPI的信息，从最表层进行溯因。

强化学习的算法模型可以简单定位一个四元组(S,P,A,R)，其中S表示环境状态State；P表示需要训练的策略网络；A表示智能体执行的动作Action；R表示奖励值Reward。强化学习可以简单地看作是一种搜索算法，但是它搜索的方向并非是随机的，是由训练好的策略网络来确定的。它每一种选择都是概率，根据概率来选择搜索的方向。需要注意的是并非智能体每次都会选概率最大的Action，这是一个随机的过程。

发明内容

本发明的目的是提供一种基于强化学习和知识图谱的故障溯因方法，该故障溯因方法可以直接从表层的故障节点开始溯因，从而形成一条因果链，最终找到深层的根因节点。

为实现上述发明目的，本发明提供的技术方案为：

一种基于强化学习和知识图谱的故障溯因方法，所述故障溯因方法包括以下步骤：

(1)构建应用场景的设备知识图谱，提取每时刻的故障设备节点和对应根因设备节点组成根因对，该根因对与出现故障时刻的场景告警信息、设备知识图谱形成一个样本实例，编码样本实例，得到包含设备的节点表示、告警信息表示的样本实例表示，根据根因对编码得到根因关系表示；

(2)基于强化学习构建包括环境状态构建单元和决策确定单元的策略网络，所述环境状态构建单元用于根据样本实例表示和根因关系表示构建环境状态信息，所述决策确定单元用于根据环境状态信息确定下一时刻的动作决策；