[发明专利]一种基于周围信息的知识图谱嵌入及回复生成方法

权利要求书

1.一种基于周围信息的知识图谱嵌入生成方法，其特征在于，包括以下步骤：

步骤1：提取知识图谱中的头节点周围三元组N(h)，使用非对称周围信息编码机制对N(h)进行编码，得到头节点周围三元组的编码；

具体步骤如下：

(11)提取头节点周围三元组，N(h)＝{(h_n，r_n)|(h_n，r_n，h)∈G}∪{(t_n，r′_n)|(h，r_n，t_n)∈G}表示头节点h的周围三元组情况，其中r′_n是为了保证周围三元组的时序关系而基于周围三元组关系节点r_n新建立的关系节点，与周围三元组关系节点r_n对应；G表示知识图谱的三元组集合，h_n表示周围三元组头节点；n表示周围三元组序号；

(12)非对称周围信息编码机制包括LSTM序列编码和线性门控机制；

LSTM序列编码的两个时间步的输入分别为嵌入h_i和r_i，头节点h的嵌入作为LSTM结构的初始细胞状态和隐藏状态参与计算，LSTM序列编码的输出为第二个LSTM时间步的细胞状态和隐藏状态cell₂和hidd₂；

cell₂，hidd₂＝LSTM(h，h_i，r_i)

随后使用线性门控机制对于LSTM序列编码的输出cell₂和hidd₂作进一步的处理，将cell₂和hidd₂拼接，然后使用基于Sigmoid门控机制分别确定对于cell₂和hidd₂需要保留的信息c′₁和h′₁以及对于cell₂和hidd₂需要更新的信息u₁，再将得到的向量c′₁，h′₁和u₁进行拼接；并使用线性层将拼接后的三个向量c′₁，h′₁和u₁映射到知识图谱嵌入所在的维度，W_update，b_update，均为可以学习的线性层参数，线性门控机制映射和拼接的计算公式如下：

其中：

x′_update＝tanh(W_update·[cell₂，hidd₂]+b_update)

得到头节点周围三元组的编码e_i，其中W和b是可以学习的线性参数：

e₁＝relu(W·[h′₁；c′₁；u₁]+b)+hidd₂+cell₂

头节点周围三元组编码e_i所组成的集合记为N′(h)，即头节点周围三元组编码集合；

然后在头节点周围三元组编码集合N′(h)中添加零向量，通过非对称周围信息编码机制保留周围三元组的序列关系；

步骤2、基于步骤1中得到的头节点周围三元组编码集合N′(h)，采用线性门控机制对N′(h)进行降维，得到降维后的头节点周围信息

步骤3、采用线性权重注意力机制将三元组中头节点嵌入和降维后的头节点周围信息进行整合，获得引入周围信息的头节点表示h_context；

步骤4、采用门控注意力机制将三元组中的关系节点与邻居头节点进行整合，计算得到关系节点周围头节点整合信息使用门控注意力机制将关系节点与邻居尾节点进行整合，计算得到关系节点周围尾节点整合信息将和进行聚合，得到引入周围信息的关系节点表示r_context；

步骤5、使用基于卷积操作和残差网络的主编码结构，对步骤3算得的引入了周围信息的头节点表示h_context和步骤4算得的引入了周围信息的关系节点r_context表示进行编码，得到对于尾节点嵌入t的编码拟合t′；

所述基于卷积操作和残差网络的主编码结构的实现过程具体如下：

(51)将引入周围信息的头节点表示h_context和引入周围信息的关系节点r_context分别扩展至二维，得到h′_context和r′_context，再对h′_context和r′_context进行上下拼接，得到张量[h′_context||r′_context]；

(52)采用并行处理的方式使用多个卷积结构分别对张量[h′_context||r′_context]进行处理，即分别使用4个核函数尺寸分别为(1×1)，(3×3)，(5×5)，(5×5)的卷积结构对于[h′_context||r′_context]进行处理得到A₁-A₄，每个卷积结构包含的核函数数量均是32；

A₁＝W₁*[h′_context||r′_context]

A₂＝W₂*[h′_context||r′_context]

A₃＝W₃*[h′_context||r′_context]

A₄＝W₄*[h′_context||r′_context]

符号*表示卷积化操作，W₁、W₂、W₃、W₄表示具有不同核函数尺寸的卷积参数，经过不同卷积结构得出的信息为A₁，A₂，A₃和A₄；

(53)将编码输入信息[h′_context||r′_context]沿着所在的第三个维度重复多次得到A₀，保证A₀和其他经过处理卷积层处理过后的张量A_i等维度相同；采用残差神经网络将其他经过处理过后的张量信息A_i与未经处理的输入A₀进行整合，得到张量A；

再对张量A进行拉平操作，并使用线性层将张量A映射到知识图谱嵌入所在的维度，得到对于尾节点嵌入的编码拟合t′，

t′＝relu(W_main(Flatten(A))+b_main)

将基于卷积操作和残差网络的主结构编码方法记为：main_encoder，即：t′＝main_encoder(h_context，r_context)；b_main是线性层的偏置量，W_main是线性转换矩阵；

步骤6：将t′与尾节点嵌入t的点积作为最终的得分函数，定义损失函数并进行训练，得到最终的知识图谱嵌入表示。