[发明专利]一种基于实体关联性约束的表示学习方法

说明书

本发明涉及一种基于实体关联性约束的表示学习方法，属于自然语言处理以及知识图谱技术领域。本发明通过对实体的描述文本进行注解和关联性划分，得到实体的强关联实体集合和弱关联实体集合，将关联性作为辅助损失项融合到基于翻译的表示学习方法中，具体地通过样本负采样及模型训练，得到实体和关系的嵌入式表示，即将知识图谱中的头实体h、尾实体t以及头实体和尾实体之间的关系r，分别嵌入到向量h、向量t和向量r中。本发明所述方法在推理效果上优于基于翻译以及基于文本模型的表示学习方法。

技术领域

本发明涉及一种基于实体关联性约束的表示学习方法，属于自然语言处理以及知识图谱技术领域。

背景技术

知识图谱(Knowledge Graph)是一种基于语义网络的知识表示方法，提供了一种高效且简洁的结构化表示方式，在Web搜索和智能问答领域中起着关键作用。知识图谱将真实世界的数据表示为实体和关系，知识以(实体，关系，实体)三元组存储，实体间通过关系联结从而构成网状知识结构。虽然知识图谱包含了大量的实体和关系，但是由于知识图谱构建过程中无法抽取到所有的事实，导致知识图谱不是完备的。知识图谱推理技术可以应用于图谱的自动化补全，如预测两个实体间可能存在的关系，也可以和开放领域的信息抽取相结合，对信息抽取结果进行质量评估。表示学习方法指将知识图谱中的实体和关系嵌入到一个低维空间，在低维空间中完成知识图谱推理。

目前主流的表示学习方法将关系看作实体间的一种翻译过程，称为基于翻译的模型，如TransE模型(Bordes A,Usunier N,Weston J,et al.Translating embeddings formodeling multi-relational data[C]in International Conference on NeuralInformation Processing Systems.Curran Associates Inc.2013:2787-2795)提出关系是头实体和尾实体间的翻译操作，该模型仅仅从图的结构中进行推理，无法提供更多的辅助信息，其推理效果的提升空间有限。于是有学者提出将实体描述文本和图结构结合的表示学习方法，属于文本表示模型，其中的代表DKRL模型(Xie,R.,Liu,Z.,Jia,J.,Luan,H.,Sun,M.(2016,February).Representation Learning of Knowledge Graphs with EntityDescriptions.In AAAI.pp.2659-2665)将实体的描述文本和结构信息进行联合学习，使用词袋模型(CBOW)和卷积神经网络(CNN)对文本进行编码，然而却忽略了文本中实体之间可能存在的语义关联，在训练时会损失较多的语义信息。

现有的表示学习方法在知识图谱推理上虽然取得了不错的效果，然而对文本中实体间的语义关联缺乏挖掘，推理性能上的改进还存在很大空间。本发明的目的是致力于解决传统表示学习方法在训练时会损失实体间的语义关联信息的技术缺陷，提出了一种基于实体关联性约束的表示学习方法。

发明内容

本发明的目的在于针对基于翻译的模型没有利用文本中丰富的语义信息，以及文本表示模型在训练过程中会损失实体间的语义关联信息，提出了一种基于实体关联性约束的表示学习方法。

本发明的核心思想是：基于实体描述文本挖掘出关联性实体并对关联性进行分级，将关联性作为辅助约束融合到基于翻译的表示学习方法中；主要利用注解后的实体描述文本得到实体间的共现信息，该信息作为一种衡量两个实体间语义关联程度的标准，并且该关联程度是有向的。具体实施是将知识图谱中的头实体h、尾实体t以及头实体和尾实体之间的关系r，分别嵌入到向量h、向量t和向量r中。

本发明通过以下步骤实现：

步骤一、对实体的描述文本进行注解和关联性划分，得到实体的强关联实体集合和弱关联实体集合；具体包含如下子步骤：

步骤1.1、对实体的描述文本注解，得到实体注解结果；