[发明专利]一种基于公共语义空间学习构建图文知识图谱方法

说明书

本发明公开了一种基于公共语义空间学习构建图文知识图谱方法，包括如下步骤：构建深度神经网络用于图像与文本数据的深度特征提取；将图像与文本数据对o_i＝(x_i,l_i,y_i)分别输入到深度神经网络中训练；其中o_i表示第i对图像‑文本对数据以及对应的标签，x_i，y_i与l_i分别表示第i个图像数据、文本数据以及对应的标签数据；通过损失函数学习两种图像和文本数据间的公共语义表达，并将图像与文本特征转化到公共语义空间中；根据相似度度量，依据CN‑DBpedia的构建方法构建知识图谱。本发明提供的方法能有效实现图像、文本两种不同的模态间的知识图谱构建。

技术领域

本发明涉及人工智能领域，特别是指一种基于公共语义空间学习构建图文知识图谱方法。

背景技术

随着人工智能技术的快速发展和普及，当今社会逐步进入了智能化时代。知识图谱是人工智能技术的重要组成部分。其以结构化的方式描述客观世界中的概念、实体及之间的关系。知识图谱提供了一种更好的组织、管理和理解互联网海量信息的能力，将互联网的信息表达成更接近于人类认知世界的形式。而随着多模态、多媒体数据的爆炸式增长和知识的表现形式以及存储形式的多样性，跨模态知识图谱成为研究热点。

跨模态的图文知识图谱旨在不同模态的数据间(图像、文本)进行知识图谱的构建，具有非常重要的应用价值，其应用场景非常广泛，例如多媒体化知识库的构建、网页的图文知识连接等。由于图像与文本数据之间存在着异构鸿沟以及相似性度量非常困难，如何依据图像与文本的内容衡量两种模态数据之间的相似性，是构建图文模态知识图谱的关键以及难点。

发明内容

本发明的主要目的在于克服现有技术中的上述缺陷，提出一种基于公共语义空间学习构建图文知识图谱方法，将图文两种不同的模态数据特征映射到公共的语义空间中，实现两种模态数据之间的语义连接以及知识连接，能有效实现图像、文本两种不同的模态间的知识图谱构建。

本发明采用如下技术方案：

一种基于公共语义空间学习构建图文知识图谱方法，包括如下步骤：

构建深度神经网络用于图像与文本数据的深度特征提取；

将图像与文本数据对o_i＝(x_i,l_i,y_i)分别输入到深度神经网络中训练；其中o_i表示第i对图像-文本对数据以及对应的标签，x_i，y_i与l_i分别表示第i个图像数据、文本数据以及对应的标签数据；通过损失函数学习两种图像和文本数据间的公共语义表达，并将图像与文本特征转化到公共语义空间中；

根据相似度度量，依据CN-DBpedia的构建方法构建知识图谱。

具体地，所述将图像与文本数据对o_i＝(x_i,l_i,y_i)分别输入到深度神经网络中训练；其中o_i表示第i对图像-文本对数据以及对应的标签，x_i，y_i与l_i分别表示第i个图像数据、文本数据以及对应的标签数据；通过损失函数学习两种图像和文本数据间的公共语义表达，并将图像与文本特征转化到公共语义空间中；具体为：

将输入的图像数据集输入到深度神经网络，其中x_i表示第i张图像数据，n为图像数量；经过全卷积网络FCN后对图像进行像素级分类，将图像的内容分为图像背景信息bX₁与图像主体目标信息mX₁，并将图像背景信息bX₁与图像主体目标信息mX₁通过浅层卷积网络后进行特征融合处理；