[发明专利]基于图表示学习和深度强化学习的知识推理方法及装置

权利要求书

1.一种基于图表示学习和深度强化学习的知识推理方法，其特征在于，包括以下步骤：

构建关系图神经网络模型，将知识图谱数据输入到所述模型，根据输入数据的不同关系类别提取知识的图拓扑结构信息和语义信息；

以提取的信息为基础，构建强化学习模型，通过强化学习智能体和环境的交互进行知识推理，输出推理结果。

2.根据权利要求1所述的基于图表示学习和深度强化学习的知识推理方法，其特征在于，所述关系图神经网络模型通过关系和节点即实体进行双重聚合提取知识的图拓扑结构信息和语义信息，具体包括：

将知识图谱数据按照不同的关系类别进行分类；

针对每一类别的不同知识集合进行信息聚合，得到每一类别的节点表示；

将每一类别的当前节点和其邻居的节点划分为入关系集合和出关系集合，并分别对这两种关系集合进行转换操作，入关系集合是邻居节点指向当前节点的边的集合，出关系集合是当前节点指向邻居节点的边的集合；

将所有类别得到的信息进行聚合，并由激活函数进行非线性化，获得知识图谱中实体的表示信息。

3.根据权利要求2所述的基于图表示学习和深度强化学习的知识推理方法，其特征在于，所述关系图神经网络进行双重聚合的操作表示为：

式中，表示当前节点V_i的第l层隐藏状态，表示V_i的邻居节点V_j的第l层隐藏状态，σ是一种非线性激活函数，表示与V_i相邻并且关系为r的邻居节点集合，表示集合中元素的数量即关系为r的邻居节点的数量，表示关系为r的邻居节点的第l层隐藏状态的转移权值，R为V_i与邻居节点的关系集合，表示V_i的第l层隐藏状态的转移权值，表示自环即自己指向自己的权重。

4.根据权利要求3所述的基于图表示学习和深度强化学习的知识推理方法，其特征在于，σ为ReLU函数，表达式为：

5.根据权利要求1所述的基于图表示学习和深度强化学习的知识推理方法，其特征在于，所述强化学习模型包括环境、状态、动作和奖励，其中，

环境由知识图谱图表示空间组成；

状态由知识表示、LSTM、图注意力机制三部分拼接而成；状态的知识表示部分为m_t＝e_t，e_t为当前实体经过图表示学习后的嵌入向量；状态的LSTM部分是由强化学习智能体在知识图谱环境中推理过程中的记忆单元，记为h_t＝LSTM(h_t-1,m_t)，其中，h₀＝0；状态的图注意力机制部分为N_i为实体e_i的周围实体的数量，a_ik为实体e_i和其周围实体e_k之间的注意力权重其中表示权重向量，W表示线性转移矩阵；

动作是交互过程中智能体单步移动选择的边A_t＝{(r',e')|(e_t,r',e')∈G}，其中e_t表示当前时刻t智能体所在位置的实体，r'、e'分别为与实体e_t相连接的关系和实体，G表示知识图谱中所有由头实体、关系和尾实体组成的三元组数据；

奖励包括推理过程获得的奖励和软奖励，表示为：

R(s_T)＝R_global(s_T)+(1-R_global(s_T))f(e_s,r_q,e_T)

R_global(s_T)＝R_g+R_d+R_p

其中，R(s_T)为智能体最终状态s_T的奖励，R_global(s_T)为推理过程获得的奖励，R_g、R_d和R_p分别为全局奖励、路径多样性奖励和路径有效性奖励，f(e_s,r_q,e_T)为软奖励，e_s、r_q和e_T分别为头实体、关系和尾实体。