[发明专利]基于注意力机制的时序知识图谱推理方法、装置和设备

权利要求书

1.一种基于注意力机制的时序知识图谱推理方法，其特征在于，所述方法包括：

获取待推理的时序知识图谱，根据所述时序知识图谱中知识的时间标注，构建每个时间段的知识图谱快照，并进一步得到每个时间段内每个实体的邻域信息；

通过邻域聚合器对多个实体的全部关系对应的所述邻域信息进行聚合，得到每个实体的邻域特征表示；

将所述时序知识图谱中各个时间段各个实体的邻域特征表示输入基于注意力机制的时序事件编码器中；所述基于注意力机制的时序事件编码器用于根据目标实体在当前时刻的邻域特征表示和历史时刻的邻域特征表示确定包含多头信息的注意力权重矩阵，通过所述注意力权重矩阵有选择地关注历史信息的时间实体表示序列，得到所述目标实体在当前时刻由时序事件编码器更新后的隐向量表示；

通过前馈神经网络和多分类层网络根据所述隐向量表示对所述时序事件编码器进行编码打分，实现时序知识图谱推理。

2.根据权利要求1所述的方法，其特征在于，通过邻域聚合器对多个实体的全部关系对应的所述邻域信息进行聚合，得到每个实体的邻域特征表示，包括：

通过邻域聚合器对多个实体的全部关系对应的所述邻域信息进行聚合，得到每个实体的邻域特征表示；所述邻域聚合器为多关系邻域聚合器、注意力聚合器或平均池化聚合器；

所述多关系邻域聚合器的模型结构为：

其中，表示所述多关系邻域聚合器输出的实体的邻域特征表示，表示实体s的关系r在时刻t的邻居节点集合，c_s表示实体s的在图中边的数量，用来作为归一化因子，l表示当前聚合器的层数，W_r表示实体o和s之间与关系相关的可训练参数，W_o表示实体s自循环的可训练参数，h_o，h_s分别表示实体o，s的嵌入向量通过多关系聚合器得到的中间层数的隐表示；

所述注意力聚合器的模型结构为：

其中，表示所述注意力聚合器输出的实体的邻域特征表示，a_o＝softmax(v^Ttanh(W(e_s:e_r:(h_o+h_r))))，e_s表示当前预测实体嵌入向量，e_r表示当前预测关系r的嵌入向量，h_r表示实体e_s和e_r邻域信息对应的关系向量，eo表示实体o的可嵌入向量表示，softmax(·)为归一化指数函数，v^T表示权值，W(·)表示可训练参数，tanh(·)表示tanh激活函数；

所述平均池化聚合器的模型结构为：

其中，表示所述平均池化聚合器输出的实体的邻域特征表示。