[发明专利]一种基于强化学习和知识图谱的设备故障溯因方法

权利要求书

1.一种基于强化学习和知识图谱的故障溯因方法，其特征在于，所述故障溯因方法包括以下步骤：

(1)构建应用场景的设备知识图谱，提取每时刻的故障设备节点和对应根因设备节点组成根因对，该根因对与出现故障时刻的场景告警信息、设备知识图谱形成一个样本实例，编码样本实例，得到包含设备的节点表示、告警信息表示的样本实例表示，根据根因对编码得到根因关系表示；

(2)基于强化学习构建包括环境状态构建单元和决策确定单元的策略网络，所述环境状态构建单元用于根据样本实例表示和根因关系表示构建环境状态信息，所述决策确定单元用于根据环境状态信息确定下一时刻的动作决策；

(3)根据设定的时间步长阈值内动作决策结果构建奖励值，依据该奖励值构建损失函数，利用该损失函数更新策略网络参数、节点表示、告警信息表示、根因关系表示；

(4)应用时，以故障设备节点的节点表示、告警信息表示以及对应的根因关系表示作为策略网络的输入，利用策略网络获得接下来每个时刻里连接的设备节点，依据连接的每个设备节点追溯得到故障设备节点对应的根因设备节点。

2.如权利要求1所述的基于强化学习和知识图谱的故障溯因方法，其特征在于，所述环境状态构建单元构建的环境状态信息s_t＝[m_t；h_t；a_t]，其中，s_t表示t时刻的全局环境状态信息，其由t时刻的节点状态信息m_t、历史状态信息h_t以及节点注意力信息a_t通过符号；拼接而成。

3.如权利要求2所述的基于强化学习和知识图谱的故障溯因方法，其特征在于，根据设备的节点表示和根因关系表示构建节点状态信息m_t为：

m_t＝[e_t；f_q(e_start,r_cause)]

其中，e_t为t时刻设备的节点表示，e_start为故障设备的节点表示，r_cause为故障设备节点对应的根因关系表示，f_q(e_start,r_cause)为对e_start和r_cause的融合操作。

4.如权利要求2所述的基于强化学习和知识图谱的故障溯因方法，其特征在于，利用LSTM获得历史状态信息h_t为：

h_t＝LSTM[h_t-1；m_t]

其中，h_t-1为t-1时刻的LSTM输出的隐含层向量作为t-1时刻的历史状态信息，LSTM[h_t-1；m_t]表示将h_t-1与m_t通过符号；拼接后输入至LSTM得到的t-1时刻的历史状态信息h_t，该历史状态信息h_t可以来记录整条故障溯因路径的信息。

5.如权利要求2所述的基于强化学习和知识图谱的故障溯因方法，其特征在于，根据告警信息表示构建节点注意力信息a_t为：

其中，I_tk为属于设备节点e_t的第k个告警信息表示，为属于设备节点e_t的告警信息表示的总个数，λ_tk表示第k个告警信息表示I_tk与设备节点e_t的连接权重。