[发明专利]一种融合实体图像信息和实体类别信息的多模态知识表示方法

权利要求书

1.一种融合实体图像信息和实体类别信息的多模态知识表示方法，其特征在于，包括：

A、实体图像信息的嵌入方法：通过设计图编码器来完成实体图像特征信息的抽取以及从图像空间到知识空间的转换，利用注意力机制来对图像信息进行筛选组合，使用图像特征和实体以及对应关系特征的相关性大小作为注意力分数计算依据，构建实体基于图像的表示；

B、实体类别信息的嵌入方法：通过注意力机制对实体类别和对应三元组关系的语义联系进行建模，构建实体基于类别下的表示；

C、融合实体图像信息和实体类别信息的多模态图注意力网络知识表示：将实体类别信息，将实体结构特征、实体图像特征和实体类别特征结合起来，使用GAT模型进行训练，实现多模态知识表示模型的构建。

2.根据权利要求1所述的一种融合实体图像信息和实体类别信息的多模态知识表示方法，其特征在于，步骤A进一步包括以下步骤：

A1、实体图像编码器：使用VGG16 Net模型从实体图像中抽取图像特征，并使用图像映射矩阵完成实体图像特征表示向量从图像空间到知识空间的转换，图像映射矩阵定义如下：

p_i＝tanh(W·f_i+b)

其中，p_i表示实体图像在知识空间中的表示，表示映射矩阵，d_i表示图像特征向量的维度，而d_s则表示知识空间向量的维度,b表示一个偏置向量；

A2、多图像的注意力机制：通过TransE模型训练得到实体基于结构的实体表示向量和关系表示向量，采用缩放点积模型来计算每个实体对应的多个图像表示向量的注意力分数，并在缩放点积模型引入了除以的操作，可以避免当输入向量维度较高时结果方差过大的问题；注意力打分函数具体计算公式如下：

其中，p_i代表实体的第i个图像的表示向量，v_s代表实体基于结构的实体表示向量和该实体对应的关系表示向量的拼接向量。

3.根据权利要求1所述的一种融合实体图像信息和实体类别信息的多模态知识表示方法，其特征在于，步骤B进一步包括以下步骤：

B1、实体类别编码器：首先确定实体类别对应的说明文本语句，然后使用卷积神经网络完成对实体类别说明文本语句特征的抽取，最终得到实体类别特征向量；

B2、多类别的注意力机制：通过注意力机制来计算实体类别与实体关系之间的相关性大小，最终形成实体基于类别信息的知识表示；将计算出的注意力分数为实体的不同类别表示向量赋予权重，做加权求和操作，得到最终的实体基于类别的表示向量：

其中，α_ic代表实体的第i个类别的注意力权值，q_i代表实体的第i个类别的表示向量，r_s代表和当前实体的第i个类别出现在同一个三元组中的关系表示向量。

4.根据权利要求1所述的一种融合实体图像信息和实体类别信息的多模态知识表示方法，其特征在于，步骤C进一步包括以下步骤：

C1、多头注意力神经网络层：将无向图中的边进行扩展，表示为知识图谱中的有向关系路径；然后对关系路径进行知识表示，并对当前实体节点的n跳邻居的语义信息进行挖掘；最后，在每个图注意力层之后标准化当前得到的实体表示向量；

C2、损失函数设计：对于给定有效三元组(h,r,t)，通过学习到的实体和关系的嵌入使得实体t是实体h通过关系r连接的最近邻居，得分函数定义为：f_r(h,t)＝‖h+r-t‖对于给定有效三元组，模型的损失函数定义如下：

L(Ω)＝∑_(h,r,t)∈G∑_{(h,r,t)′∈G′}[f_r′(h,t)-f_r(h,t)+γ]₊

其中，[x]₊表示x的正部分，γ表示边缘超参数；

C3、解码器设计：将卷积神经网络ConvKB模型作为解码器网络，获取训练收敛后节点和关系向量，每个三元组的元素由一个列向量表示，每个3列矩阵组成一个三元组；为了得到更深层次的知识表示，采用多个过滤器操作生成不同的特征图，通过特征图的串联得到单个特征向量。