[发明专利]一种适于多模态知识图谱的实体对齐方法及设备

权利要求书

1.一种适于多模态知识图谱的实体对齐方法，其特征在于，包括以下步骤：

步骤1，获取两个多模态知识图谱和的数据；

步骤2，将各个模态的数据投影到双曲空间；

步骤3，使用双曲图卷积神经网络学习实体的结构特征和视觉特征；

步骤4，融合多模态特征；

步骤5，以双曲空间中距离表示实体相似度；

步骤6，根据相似度进行实体识别对齐；

步骤2中所述的各个模态的数据由预先训练好的神经网络产生的，存在于欧氏空间中，通过从切平面到流形空间的投影，获得投影到双曲空间的特征：，为欧氏空间的特征表示，为双曲空间的特征表示，其中指数映射的定义为：，是切空间的特征向量，为双曲空间的曲率，是双曲空间中的一个点，表示双曲空间的原点，切空间上的向量通过指数映射到；

步骤3中所述的实体的结构特征的学习是通过双曲空间中的特征转换、信息传递和非线性激活获得的；首先使用对数映射log(·)将双曲空间的节点的特征向量投影到切空间，在切空间中，节点的特征变换和传递规则为：，其中表示切平面上的特征表示，表示双曲平面上的特征表示，表示对称归一化邻接矩阵，是可训练权重矩阵，d’和d分别表示输入和输出的向量表示的维度，对数映射的定义为：，在得到切线空间中的特征表示后，使用非线性激活函数来学习非线性变换；基于双曲特征变换和非线性激活，双曲空间的卷积计算被重新定义为：，其中，分别表示在层和层学得的双曲空间中的节点表示，且，为激活函数；

所述的非线性激活为欧式非线性激活，在层的切线空间中，将其映射到下一层的流形上：，其中，分别是层和层的曲率，激活函数选择；

步骤4中所述的多模态特征的融合是将结构信息和视觉信息相结合，结合的公式表示为：

其中，分别是双曲图卷积网络模型学得的结构向量表示和视觉向量表示；是平衡两种特征向量权重的超参数；两种不同的特征在融合过程中需要保持维度的相同，表示Mobius加法；所述的Mobius加法提供了一种适用于双曲空间的加法形式，在欧几里得空间中的定义为：

。

2.根据权利要求1所述的实体对齐方法，其特征在于，步骤3中所述的视觉特征的学习过程包括：采用densenet模型来学习图像嵌入，移除densenet模型中的softmax层，densenet模型是在ImageNet数据集上预先训练的，并为多模态知识图谱中的所有图像获取1920维向量嵌入；使用双曲图卷积网络将视觉特征向量投影投射到双曲空间中。

3.根据权利要求1所述的实体对齐方法，其特征在于，步骤5中所述的双曲空间中距离表示为：，对于中的实体和中的实体，其中，表示实体和融合结构信息和视觉信息而生成的双曲空间中的向量表示；是范数；表示操作表示Mobius加法。

4.根据权利要求1所述的实体对齐方法，其特征在于，步骤6中，中特定的一个实体，计算中所有实体与其双曲空间中的距离，并返回按照距离从小到大排名的候选实体，距离越小的实体越匹配。

5.根据权利要求3所述的实体对齐方法，其特征在于，模型的训练目标是最小化下列的基于边缘的评分损失函数：

其中，，表示已知实体对，表示种子实体对的集合；表示负例实体对集合；负例通过破坏正例，即随机选取知识图谱中的一个实体取代e或者v，表示边缘超参数，用来分离正例和负例，基于边缘的损失函数需要正例实体对之间的距离尽可能小，负例实体对之间的距离尽可能大。

6.一种适于多模态知识图谱的实体对齐设备，其特征在于，包括：

处理器；

以及，存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行权利要求1至5任一所述可执行指令来执行上述的实体对齐方法。