[发明专利]一种基于隐式翻译模型的知识图谱嵌入方法

说明书

本发明公开一种基于隐式翻译模型的知识图谱嵌入方法，不同于传统的基于翻译模型的方法，首次将关系表示成为两层全连接前馈神经网络，增强了知识图谱中对于复杂关系的表示能力，可以有效处理其他基于翻译模型方法无法处理的两种复杂情况，包括同实体对之间具有多种不同关系的情况和多个实体之间具有循环关系的情况，有效提高了知识图谱嵌入的效果，最终通过实体链接预测测试和三元组验证测试的测试结果证明了本发明方法确实优于现有的基于翻译模型的方法。

技术领域

本发明属于自然语言处理和知识图谱领域，涉及知识图谱嵌入技术、知识表示学习技术和神经网络学习技术，尤其是一种基于隐式翻译模型的知识图谱嵌入方法。

背景技术

目前在相关技术中，知识图谱嵌入技术主要分为两类：一种是基于翻译模型的知识图谱嵌入技术。自从2013年第一个基于翻译模型的方法(TransE)被提出以来，基于翻译的嵌入模型因其知识图补全的简单性和高效性而受到越来越多的关注。基于翻译模型的核心思想是将实体间的关系表示成从头实体到尾实体之间的翻译。然而，现有的基于翻译模型的方法都使用了一个固定的翻译方程，都存在一定的局限性。现有的基于翻译的模型主要有TransE，TransH，TransR，TransD，KG2E，STransE，TranSparse，TransAt等。

基于翻译模型的知识图谱嵌入的缺陷在于它对于知识图谱中复杂关系的处理较为无力，例如同实体对之间具有多种不同关系的情况和多个实体之间具有循环关系的情况。对于上述两种情况，大部分基于翻译的模型都会失效。

另一类嵌入技术是基于语义匹配模型。基于语义匹配模型的方法利用基于相似性的评分函数。他们通过在相应的向量表示空间中匹配实体和关系的潜在语义来衡量事实的合理性。现有的基于语义匹配模型主要有RESCAL，DistMult，HolE，Complex，ANALOGY，SE，SME，LFM，NTN，MLP以及NAM等。

基于语义匹配模型的知识图谱嵌入的缺陷在于他需要大量的参数来拟合较为复杂的神经网络，从而导致训练过程较为困难，训练时间较长，效率较低，并且得到的结果大部分也不如基于翻译模型的效果好。

发明内容

本发明的目的是为了克服现有技术中的不足，提供一种基于隐式翻译模型的知识图谱嵌入方法。

本发明的目的是通过以下技术方案实现的：

一种基于隐式翻译模型的知识图谱嵌入方法，包括以下步骤：

步骤一，利用全连接的思想，构建知识图谱中实体之间的关系表示方法；

步骤二，通过关系表示方法得到神经网络的损失函数；

步骤三，使用训练集中的事实三元组数据训练神经网络，事实三元组数据由头实体、关系和尾实体组成，是通过对事实语句提取获得的，得到头实体向量、尾实体向量和关系的表示结果；

步骤四，使用测试集中的三元组数据测试训练出的神经网络，验证并分析实体和关系的嵌入效果。

进一步的，步骤一具体步骤如下：根据万能近似定理(universal approximationtheorem)，一个前馈神经网络如果具有线性输出层和至少一层具有任何一种“挤压”性质的激活函数的隐藏层，只要给予前馈神经网络足够数量的隐藏单元，前馈神经网络能够以任意的精度来近似任何从一个有限维空间到另一个有限维空间的Borel可测函数；步骤一种使用的是一个两层的全连接前馈神经网络，头实体向量经过该神经网络将转换为尾实体向量。

进一步的，步骤二具体步骤如下：将存储的头实体向量经过步骤一中的神经网络的转换后得到的尾实体向量与存储的真实尾实体的向量表示的差值的二范数作为损失值，以此来判断和衡量得到的尾实体向量与真实尾实体向量之间的相似性。