[发明专利]基于重要性负采样的知识表示学习模型及负采样框架构建方法

说明书

本发明涉及基于重要性负采样的知识表示学习模型及负采样框架构建方法，在卷积层与池化层之间加入了注意力模块，由通道注意力模块和空间注意力模块构成，使得网络提取到的特征更符合目标图像的真实特征，对后续步骤的处理起到更积极的作用，相比于原始的网络，在模型运行时间差别不大的情况下，能够得出更加准确的检测效果。本发明设计科学合理，实现高效率、高精度的目标检测，利用此网络可以帮助在遥感图像上快速找到城镇、机场、道路以及桥梁等重要信息，从而为沙漠化面积监测、河流流量监测、评估城市的发展水平等方面的工作提供便利。

技术领域

本发明属于知识图谱应用中的知识表示学习领域，涉及知识图谱嵌入技术、循环相关运算技术和基于重要性的负采样技术，特别涉及一种基于重要性负采样的知识表示学习模型及负采样框架构建方法。

背景技术

搜索引擎是一种信息检索系统，用来为用户快速筛选出互联网上对其有用的信息。它在一定程度上满足了用户的需求，但是它需要用户提供精确的搜索关键字，而有的时候用户并不能精确地描述其需求，这就导致了搜索引擎具有一定的局限性。相比之下，推荐系统在快速筛选有用的信息的同时，还能为用户提供个性化服务，为用户推荐其可能感兴趣的信息，因此更能满足用户的需求。但是大数据时代的到来使得传统的搜索引擎和推荐系统技术难以从如此繁多的数据中挖掘有价值的信息，知识图谱技术便为解决这一问题提供了一种新的方法。

知识图谱技术中一个重要的研究方向是知识表示学习。三元组虽然可以有效地表示知识图谱中的结构化数据，但是并不能很好地刻画实体与实体、实体与关系、关系与关系之间的内在联系。而知识表示学习通过将知识图谱中的实体和关系嵌入到一个连续的向量空间中(因此知识表示也可以称为知识图谱嵌入)，即将每一个实体和关系都用一个低维、稠密的向量来表示，既保持了知识图谱的结构，还能简化操作。这些实体和关系的嵌入为知识图谱的补全、链接预测和三元组分类等问题提供了数值计算框架，同时还能捕获实体之间的语义相似性，对于解决知识图谱的数据稀疏性具有非常重要的作用。

根据得分函数的不同，目前主要的知识表示模型可以分为两类：基于翻译的知识表示模型(Trans系列模型)和基于乘积的知识表示模型。无论是基于翻译的知识表示模型还是基于乘积的知识表示模型，它们都有一个共同的过程——负采样。由于在所有的知识库中都只包含正三元组(也就是正确的三元组)，因此这些模型使用随机均匀采样从整个实体集中选择实体，随后替换三元组中的头实体或尾实体，以此来人工构造负三元组。通过这种方式获得负三元组虽然简单快速，但是在训练的后期很容易造成零损失问题，因此近些年也有学者开始研究负采样的过程。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于重要性负采样的知识表示学习模型，用于知识图谱的嵌入过程，不仅可以保持模型的简单高效，而且还能挖掘实体之间更深层次的联系，使得背景知识的融入过程不需要复杂的约束、规则等限制条件，同时使无背景知识的学习同样具有良好的效果。

本发明还提出了一种基于重要性采样的负采样框架，改善模型训练中的零损失的问题，在时间复杂度和空间复杂度上提高现有的知识表示模型的训练效果，在一定程度上提升训练速度、增进训练稳定性。

本发明解决其技术问题是通过以下技术方案实现的：

一种基于重要性负采样的知识表示学习模型构建方法，其特征在于：所述方法的步骤为：

S1、对实体和关系信息进行处理，获得得分函数和损失函数；

S2、引入循环相关运算对损失函数进行梯度下降，更新模型参数；

S3、分析实体和关系嵌入向量中的值，验证该模型具有完全表达性；

S4、利用参数绑定将背景知识融入到该模型中，以改善模型的训练效果；

S5、通过实验评估和验证对知识表示学习模型的效果进行测试。