[发明专利]一种知识图谱在零次学习上的运用方法

权利要求书

1.一种知识图谱在零次学习上的运用方法，其特征在于，按照如下步骤进行：

步骤(1)利用ResNet深度卷积神经网络模型训练得到图像的视觉特征；

步骤(2)利用wordnet知识图谱构建类别之间的关系图；

步骤(3)根据节点之间的距离计算其权重关系；

步骤(4)利用GraphSAGE算法对关系图中的节点进行优化；

步骤(5)利用图卷积神经网络将优化后类节点的语义特征映射到与视觉特征相同的维度空间；

步骤(6)寻找与视觉特征欧式距离最近的类别，并将其作为判断的类别；

其中步骤(2)具体为：

利用wordnet知识图谱构建零次学习中类别之间的关系图，类别之间有祖先和后代关系之分，根据这些关系构建了类别之间的祖先关系图和后代关系图

进一步的，步骤(3)具体为：

使用表示祖先传播阶段的学习权重，表示后代传播阶段的学习权重；和对应于所给定节点距离为i的节点的权重；其中表示自环，表示对应于所给定节点距离大于K-1的所有节点的权重；取K＝3，对这些权重关系使用softmax函数做归一化处理，公式如下：

其中，为祖先关系图中的权重系数，为后代关系图中的权重系数；

进一步的，步骤(4)具体为：利用GraphSAGE算法对关系图中的节点进行优化，算法的输入为通过步骤(2)获得的祖先关系图后代关系图祖先关系图和后代关系图中包括所有类节点x_v，的特征，类节点的初始特征为词向量特征；GraphSAGE算法有两层循环，最外层循环为m＝1…M,其中M表示外循环中的当前步骤，也可以表示为搜索的深度；内层的循环表示对关系图中每个节点；

算法外层循环的每个步骤表示如下：首先，每个节点将其相邻节点的特征表示通过聚合函数AGGREGATE_m,聚合到一起，生成向量由于有祖先关系图和后代关系图两种关系图，所以节点v要在这两种图上都做处理；其中表示节点v在祖先关系图上的邻居，同理，表示节点v在后代关系图上的邻居；h^m表示节点在当前步骤的特征表示；聚合步骤取决于外循环先前一次迭代m-1生成的特征表示；完成聚合操作后，将节点当前的特征表示与聚合后的向量拼接起来，σ表示Relu激活函数；每个节点的初始特征用来表示，m＝1时，当完成一次内循环之后，就可以得到特征向量中包含了其所有相邻节点的特征表示；同理，通过外循环，m值不断增大，直到最大搜索深度，会不断迭代生成特征向量中包含了搜索深度为m的相邻节点的特征表示；最后获得融合了各个相邻节点信息的输出z_v；

进一步的，步骤(5)具体为：将步骤(4)优化后的祖先关系图与后代关系图利用图卷积神经网络将类别的语义特征映射到与视觉特征相同的维度空间；可以用下面的公式来表示：

其中和分别表示经过步骤(4)优化后的祖先关系图和后代关系图中节点之间连接距离为k的邻接矩阵，的转置为和是和的度矩阵；和就是步骤(3)中计算得到的权重系数；θ_a和θ_d为需要被学习的参数，σ是Relu激活函数；X是表示网络每一层对应的特征，最初的输入为经过步骤(4)优化后的节点特征；通过计算得到的语义特征与视觉特征处在相同的维度空间。

2.根据权利要求1所述的一种知识图谱在零次学习上的运用方法，其特征在于，进一步的，步骤(6)具体为：将所有类别的语义特征通过步骤(5)映射到与图片视觉特征相同的维度空间后，计算各个类别映射后的语义特征与图片视觉特征之间的欧式距离，选择欧式距离最近的类别，作为判断其所属的类别。

3.根据权利要求1所述的一种知识图谱在零次学习上的运用方法，其特征在于，步骤(4)中所述的聚合函数可以为平均聚合、LSTM聚合或池化聚合。