[发明专利]一种融合实体图像信息和实体类别信息的多模态知识表示方法

说明书

本发明公开一种融合实体图像信息和实体类别信息的多模态知识表示方法，该模型将实体基于结构，基于图像以及基于类别的知识表示统一进行联合训练，完成多模态知识图谱表示。包括：实体图像信息的嵌入方法，负责实体图像特征信息的抽取以及从图像空间到知识空间的转换；实体类别信息的嵌入方法，对实体类别和对应三元组关系的语义联系进行建模，构建实体基于类别下的表示；融合实体图像信息和实体类别信息的多模态知识表示模型，负责融合实体图像信息和实体类别信息多模态的知识表示学习。本发明通过构造多模态知识表示方法，为解决知识图谱推理技术中的数据稀疏问题，高效计算实体和关系的语义联系，融合和推理的性能提供了新的思路。

技术领域

本发明属于知识图谱推理技术，尤其涉及信息检索、问答系统和智能对话等人工智能相关领域。

背景技术

随着第五代移动通信(Fifth Generation,5G)时代的到来，互联网技术得到了快速发展，数据的体量和维度爆炸性增长，面对海量数据，用户对搜索的精准化和智能化的需求日益增长，为用户提供能够读懂用户需求的智能服务，这一问题亟待解决。知识图谱作为一种直观的发现、管理和利用知识的知识表达方式应运而生。要理解知识图谱，首先要对知识库做出说明。知识库(knowledge base,KB)是将人类知识结构化形成的知识系统，其中包含了基本事实、通用规则和其它有关信息，在知识库中，将世界上的具象事物与抽象概念等表示为实体(entity)，将实体之间的联系表示为关系(relation)。

在知识库中，知识通常是以三元组的形式对实体与实体之间的关系进行表示。不同实体之间根据不同的关系连接在一起，通过众多三元组的链接，知识库中储存的知识最终构成错综复杂的知识图谱 (Knowledge graph,KG)，其中实体用知识图谱中的节点表示，而关系则用连接节点的边来表示。

为了提高搜索速度和准确性、改善用户搜索体验，知识图谱这一概念最早于2012年被美国GOOGLE公司提出。GOOGLE公司从多来源进行信息收集，并进行数据整合完成知识抽取，再经过知识融合等步骤最终完成知识图谱的构建。知识图谱在GOOGLE搜索上的成功应用激起了很多国内外互联网公司对于知识图谱的研究兴趣，越来越多的公司开始尝试将知识图谱应用到具体业务上，例如微软开发的用于智能搜索和广告业务的Probase，Facebook用于智能搜索和个性化推荐的社交图谱，阿里巴巴用于智能导购、智能搜索、个性化推荐以及智能问答的电商知识图谱，美团用于多种生活场景智能搜索和个性化推荐的AI大脑知识图谱等等，知识图谱已经在多个领域展现出了良好的应用前景。

在信息爆炸的时代，越来越多的大型知识图谱被构建出来用来存储知识，如Freebase、DBpedia、WordNet和Wikidata等，一方面知识库中已经存在了海量的数据，另一方面，每天又会有大量的新知识产生，如何有效地将新知识与已有知识融合，更好地利用海量知识中存在的有价值信息，是我们如今亟待解决的问题。基于网络形式的知识表示在大规模的知识图谱下存在着计算效率低下和数据稀疏等问题。目前大部分开放的知识图谱主要是由人工或者半自动化的方式构建，导致这些图谱面临着严重的知识缺失问题，同时由于知识图谱本身图结构的存储方式，导致计算效率低下。

为解决这些问题，知识推理方法应运而生，作为知识图谱的研究热点之一，可以应对上述问题，完成知识图谱的补全。知识表示学习的目的是希望通过一定的方法实现知识图谱中实体和关系的分布式表示，完成知识图谱中实体和关系低维连续向量空间的转换。知识表示学习方法旨在解决计算效率低下和数据稀疏的问题，捕获实体和关系之间的语义联系时可以采用计算低维稠密向量之间相似度的方法，使得知识表示学习各项任务的性能得到了显著提升，因此在知识图谱补全、智能搜索等任务中得到了广泛应用。