[发明专利]一种知识图谱在零次学习上的运用方法

说明书

本发明提供一种知识图谱在零次学习上的运用方法。本发明首先利用ResNet深度卷积神经网络模型训练得到图像的视觉特征；然后利用wordnet知识图谱构建类别之间的关系图；再根据节点之间的距离计算其权重关系；然后利用GraphSAGE算法对关系图中的节点进行优化；之后利用图卷积神经网络将优化后类节点的语义特征映射到与视觉特征相同的维度空间；最后寻找与视觉特征欧式距离最近的类别，并将其作为判断的类别。本发明在零次学习任务中使用了知识图谱，构建类别之间的关系图,增加了更多的先验知识，利用了类别之间的联系，引入了GraphSAGE算法，可以对构建好的关系图中的节点进行优化，使得对节点的描述更完善。最后的分类结果也有更好的表现。

技术领域

本发明属于零次学习技术领域，本发明在零次学习任务上使用了知识图谱和GraphSAGE算法。

背景技术

在零次学习中，会给出每个类别及其所对应的语义特征，这里的语义特征包括类别的属性，比如描述这些类的大小，颜色等等，也可以是这些类别对应的词向量。不过这些语义特征只是单独的一个一个，没有很好的将这些类联系起来，不能很直观的将这些类别之间联系的“亲密”程度表现出来。而知识图谱正好具备了整合知识，使知识连接起来的能力。另外由于GraphSAGE算法可以迭代的学习聚合邻居节点信息，所以利用GraphSAGE可以起到优化关系图中节点类的作用，使节点表示包含更多信息。

发明内容

针对现有技术中存在的不足，本发明提供一种知识图谱在零次学习上的运用方法。本发明为了利用类别之间的关系，引入知识图谱，构建了关系图，使得其拥有更多的先验知识，并利用GraphSAGE算法来优化关系图中的节点信息。

为实现以上的技术目的，本发明将采取以下的技术方案：

一种知识图谱在零次学习上的运用方法，按照如下步骤进行：

步骤(1)利用ResNet深度卷积神经网络模型训练得到图像的视觉特征；

步骤(2)利用wordnet知识图谱构建类别之间的关系图；

步骤(3)根据节点之间的距离计算其权重关系；

步骤(4)利用GraphSAGE算法对关系图中的节点进行优化；

步骤(5)利用图卷积神经网络将优化后类节点的语义特征映射到与视觉特征相同的维度空间；

步骤(6)寻找与视觉特征欧式距离最近的类别，并将其作为判断的类别。

其中步骤(2)具体为：

利用wordnet知识图谱构建零次学习中类别之间的关系图，类别之间有祖先和后代关系之分，根据这些关系构建了类别之间的祖先关系图和后代关系图

进一步的，步骤(3)具体为：

使用表示祖先传播阶段的学习权重，表示后代传播阶段的学习权重。和对应于所给定节点距离为i的节点的权重。其中表示自环，表示对应于所给定节点距离大于K-1的所有节点的权重。取K＝3，对这些权重关系使用softmax函数做归一化处理，公式如下：

其中，为祖先关系图中的权重系数，为后代关系图中的权重系数

进一步的，步骤(4)具体为：利用GraphSAGE算法对关系图中的节点进行优化，算法的输入为通过步骤(1)获得的祖先关系图后代关系图祖先关系图和后代关系图中包括所有类节点x_v，的特征，类节点的初始特征为词向量特征。GraphSAGE算法有两层循环，最外层循环为m＝1…M,其中M表示外循环中的当前步骤，也可以表示为搜索的深度。内层的循环表示对关系图中每个节点。