[发明专利]融合实体邻居的知识补全方法及系统

权利要求书

1.一种融合实体邻居的知识补全方法，其特征在于，构建基于Triplet注意力的循环卷积神经网络模型CCTA，所述CCTA模型包括实体邻居生成模块、实体关系交互模块、基于Triplet注意力的循环卷积神经网络模块和评分函数，所述CCTA模型按如下方法进行知识补全：首先，通过实体邻居生成模块从文本描述和拓扑邻居中收集得到实体邻居并对其进行编码，结合实体名称信息进一步增强语义，生成实体的融合表示；然后，通过实体关系交互模块将得到的融合表示和关系表示进行特征重排和特征重塑；而后，基于Triplet注意力的循环卷积神经网络模块，使用Triplet注意力捕获跨维度交互来计算注意力，再通过循环卷积操作提取实体和关系的交互特征，得到特征图；最后，通过评分函数将特征映射拉平，再通过一个全连接层映射到实体嵌入维度，与尾实体矩阵进行点积归一化后得到三元组的评分；

所述实体邻居生成模块包括实体邻居生成与编码模块、实体名称与结构编码模块以及融合表示生成模块；

在实体邻居生成与编码模块中，将拓扑邻居集合和语义邻居集合相结合，作为实体的实体邻居；

对于每个实体，从两个邻居集合中选择k个邻居作为最终的实体邻居，具体的选择机制如下：给定一个实体e，首先选择同时出现在两个邻居集合的邻居，即两个集合的交集；然后，通过随机采样来填充其余的实体邻居；最后，得到包含k个邻居的实体邻居集合N'(e)＝{n₁,n₂,...,n_k}；具体过程如公式(1)-(3)所示：

N_∩＝N^text(e)∩N^stru(e) (1)

N'(e)＝N_∩∪N_sample (3)

通过所述选择机制，得到实体e的实体邻居N'(e)＝{n₁,n₂,...,n_k}；为了编码实体邻居，先将实体邻居进行初始化，使用一个维数为d的嵌入层emb，得到实体邻居的初始表示：

将得到的实体邻居的初始表示序列输入到L层的Transformer中，对初始表示序列进行编码：

其中，是第l层的隐层状态；Transformer采用多头自注意力机制，形成多个子空间，以让模型去关注不同方面的信息；将第L层的隐层状态求平均，得到实体的邻居表示e_neigh：

其中，σ是激活函数，表示Transformer编码器第L层的隐层状态；

所述实体邻居生成模块通过实体的名称单词来进一步增强实体表示；在实体名称与结构编码模块中，对于实体e的名称单词序列Word(e)＝{word₁,word₂,...,word_u}中的每个单词，用word2vec进行初始化，然后对词向量求平均，再经过一个全连接层降维到实体空间得到实体的名称表示e_name：

其中，W₁和b₁表示全连接层的权重矩阵和偏置；

然后，将实体的名称表示和实体的结构表示相加，得到实体的名称结构表示e_{name_stru}：

e_{name_stru}＝e_name+e_stru    (8)

在融合表示生成模块中，将得到的邻居表示和名称结构表示进行融合得到实体的融合表示，包括门控融合、相加融合以及连接映射融合三种融合方式；

在门控融合中，考虑到邻居表示和名称结构表示对实体e的贡献度可能不同，引入一个门控机制，实体的融合表示定义为：

e_add＝α·e_neigh+(1-α)·e_{name_srtu}    (9)

其中，α是可学习的参数，用来调整两部分的比例；

在相加融合中，将邻居表示和名称结构表示直接相加，实体的融合表示定义为：

e_add＝e_neigh+e_{name_srtu}    (10)

在连接映射融合中，将邻居表示和名称结构表示进行拼接操作，然后将拼接后的表示经过全连接层，映射到与实体表示相同的维度空间，实体的融合表示定义为：

e_add＝W₂[e_neigh；e_{name_srtu}]+b₂    (11)

其中，[；]为拼接操作，W₂为映射矩阵，b₂是偏置；

假设e_add＝(a₁,...,a_d),r＝(b₁,...,b_d)分别为实体融合表示和关系表示，其中a_i,表示组件，所述实体关系交互模块通过以下两个步骤来实现实体和关系的充分交互：

1)特征重排；对于融合表示e_add和关系表示r，分别生成对应的随机排列；限制生成的随机排列个数为C个，用集合表示，P_i表示集合P中第i个元素；

2)特征重塑；定义重塑函数φ:将e_add和r转化为矩阵其中p×q＝2d，使两个相邻的组件经过重塑后不再相邻；将重塑函数φ作用于每个P_i(i＝1,2,...,C)，然后将φ(P_i)进行拼接得到张量X＝[φ(P₁)；φ(P₂)；...；φ(P_C)]，其中[；]是拼接操作；

所述基于Triplet注意力的循环卷积神经网络模块的实现流程如下：

对于输入张量将它传递给Triplet注意力模块中的三个分支，三个分支的具体运算如下：

在第一个分支中，捕获空间H维度和通道C维度之间的跨通道交互；首先X沿着H轴逆时针旋转90°，得到然后在W维度上进行Z-pool操作，之后进行卷积操作，经过Sigmoid激活函数生成注意力权重；将得到的注意力权重与进行点乘，然后沿着H轴顺时针旋转90°得到以保持X的原始输入状态；第一个分支的计算过程表示为：

其中，H^-表示沿H轴逆时针旋转90°，H⁺表示沿H轴顺时针旋转90°，w₁表示卷积核，*表示卷积操作，σ表示激活函数；

在第二个分支中，捕获通道C维度和空间W维度的相互作用；首先X沿着W轴逆时针旋转90°，得到接着在H维度上进行Z-pool操作，之后进行卷积操作，经过Sigmoid激活函数生成注意力权重；将得到的注意力权重与进行点乘，然后沿着W轴顺时针旋转90°得到以保持X的原始输入状态；第二个分支的计算过程表示为：

其中，W^-表示沿W轴逆时针旋转90°，W⁺表示沿W轴顺时针旋转90°，w₂表示卷积核，*表示卷积操作，σ表示激活函数；

在第三个分支中，输入张量X通过Z-pool操作，之后进行卷积操作，经过Sigmoid激活函数产生注意力权重，将注意力权重与X进行点乘得到最终的张量X^*：

X^*＝X·σ(w₃*(Z-pool(X)))     (15)

其中，w₃表示卷积核，*表示卷积操作，σ表示激活函数；

然后对三个分支的张量通过简单的平均得到张量X'：

最后将X'输入到循环卷积神经网络中进行卷积操作；卷积完之后得到特征映射其中，表示循环卷积操作，w表示卷积核，σ表示ReLU激活函数；

将得到的特征图V经过拉平操作变成向量I＝vec(V)，然后经过一个全连接层，将向量I映射到实体嵌入维度，得到输出向量P，再与尾实体矩阵进行点积，得到三元组的得分；所述评分函数定义为：

f(h,r,t)＝σ(I·W₃+b₃)·e_t    (17)

其中，σ表示ReLU激活函数，W₃表示全连接层的变换矩阵，b₃是偏置；

然后，使用sigmoid处理得分函数，将其映射到0-1区间，得到候选实体的概率分布p：

p＝sigmoid(f(h,r,t))    (18)

采用交叉熵损失函数训练模型，损失函数定义如下：

其中，N是实体个数，G是正确的三元组集合，G'是不正确的三元组集合。