[发明专利]一种基于公共语义空间学习构建图文知识图谱方法

权利要求书

1.一种基于公共语义空间学习构建图文知识图谱方法，其特征在于，包括如下步骤：

S10：构建深度神经网络用于图像与文本数据的深度特征提取；

S20：将图像与文本数据对o_i＝(x_i,l_i,y_i)分别输入到深度神经网络中训练；其中o_i表示第i对图像-文本数据对 以及对应的标签，x_i，y_i与l_i分别表示第i个图像数据、文本数据以及对应的标签数据；通过损失函数学习两种图像和文本数据间的公共语义表达，并将图像与文本特征转化到公共语义空间中；具体为：

S201：将图像与文本数据对o_i＝(x_i,l_i,y_i)分别输入到深度神经网络中训练，通过神经网络的学习将图像与文本特征转化到一个公共语义空间中，其中o_i表示第i对图像-文本数据对以及对应的标签，x_i，y_i与l_i分别表示第i个图像数据，文本数据以及对应的标签数据；

S202：将输入的图像数据集输入到图像特征提取网络，其中x_i表示第i张图像数据，一共有n张图像；在经过全卷积网络FCN后对图像进行像素级分类，将图像的内容分为背景信息bX₁与主体目标信息mX₁，使用FCN-16s模型作为图像分割网络；

S203：将在步骤S202中图像分离的背景信息bX₁，通过一个卷积网络，采用VGG-16，并且最后一层的全连接输出长度为e₁，通过全连接网络后得到背景信息的高级特征信息bX₂，长度为e₁；

S204：主体目标信息mX₁经过一个卷积网络后得到的高级语义特征为mX₂，并通过两层全连接网络所输出的特征，分别对应的特征为mX₃与mX₄，其中，mX₃与mX₄分别对应图像侧的神经网络中倒数第3层与倒数第2层的全连接输出，mX₄的特征长度为e₁，并将bX₂与mX₄进行特征融合，输入到最后一层全连接层中得到iF，融合公式如下：

iF＝α₁mX₄+β₁bX₂

其中α₁+β₁＝1,α₁＞β₁，α₁＝0.8,β₁＝0.2；

S205：在文本侧网络中，将文本数据集中内容使用语义角色标注，其中，m为文本数据量，将文本数据中的“施事”与“受事”角色，生成文本侧的主体目标向量mY₁，其他角色词作为辅助信息词向量bY₁；

S206：将标注好不同角色的词分别使用的是Glove模型，并使用Google News数据集在模型上进行预训练，将生成的词向量mY₁与bY₁分别输入到独立的全连接网络中；主体目标信息mY₁经过一个卷积网络后得到的文本信息的高级语义特征为mY₂，并通过两层全连接网络所输出的特征，分别对应的特征为mY₃与mY₄，其中，mY₃与mY₄分别对应文本侧的神经网络中倒数第3层与倒数第2层的全连接输出，并将bY₁经过一个全连接层的输出bY₂与mX₄进行特征融合，输入到最后一层全连接层中得到tF，融合公式为tF＝α₂mY₄+β₂bY₂，其中α₂+β₂＝1,α₂＞β₂，α₂＝0.8,β₂＝0.2；

S207：标签数据通过一层全连接网络生成自监督的高级标签语义信息；在最后两层全连接网络所输出的语义信息分别为L₁和L₂；

S208：计算损失值，并通过训练缩小损失值，得到训练好的深度神经网络模型；

S30：根据相似度度量，依据CN-DBpedia的构建方法构建知识图谱。