[发明专利]一种对知识图谱中的实体进行合并的方法及装置

说明书

本发明涉及一种对知识图谱中的实体进行合并的方法及装置，该方法包括如下步骤：根据知识图谱中实体对应的结构化数据，生成一级特征向量；根据实体对应的文档中包含的term，生成二级特征向量；根据所述一级特征向量和二级特征向量确定不同实体间的相似度；本发明通过将实体ID分别构建一级特征向量和二级特征向量，来对同名的实体ID进行相似度计算，可以准确地判断同名的实体ID是否为同一事物，从而可以减少知识图谱中同一事物存在多个实体ID，使得知识图谱内容更加准确，结构更加紧凑。

技术领域

本发明涉及计算机搜索技术领域，尤其是涉及一种对知识图谱中的实体进行合并的方法及装置。

背景技术

计算机快速发展和普及的今天，为了更方便地、清晰地获取信息、学习知识，更经常的使用搜索引擎服务来进行信息搜索和查询。由于搜索引擎是基于爬虫抓取的方式获得网络资源信息，以关键词匹配的方式给出相应的搜索结果，然而往往搜索结果纷繁多样，有时不能直接满足用户特定的精准需求或全面性需求，用户可能还需调整搜索关键词发起多次搜索请求，效率比较低，用户体验也较差，因此对于搜索资源尚待进一步的挖掘及更准确的分类。另外，搜索引擎虽然从垂直网站中能获得的垂直数据质量较高，但是有时也会出现错误和遗漏，因此需要对错误进行处理和属性补充。基于此，不同渠道获取的数据在进行调整和更新时，由于来自不同的数据对于同一事物的描述方式不同，或者对于同一事物，不同的数据来源对其进行不同角度的描述，会出现同一个事物具有多个不同版本的数据描述，也需要对数据进行关联和梳理。。

发明内容

鉴于上述问题，本发明创造性的提出使用知识图谱的模式来克服上述问题或者至少部分地解决或者减缓上述问题，同时进一步创造性的对应用于知识图谱对实体类数据进行合并。

根据本发明的一个方面，提供一种对知识图谱中的实体进行合并的方法，其特征在于，包括如下步骤：

根据知识图谱中实体对应的结构化数据，生成一级特征向量；

根据实体对应的文档中包含的term，生成二级特征向量；

根据所述一级特征向量和二级特征向量确定不同实体间的相似度；

将相似度大于预设阈值的不同实体进行合并。

其中，根据知识图谱中实体对应的结构化数据生成一级特征向量的步骤进一步包括：根据与实体对应的URL获取结构化数据。

其中，根据实体对应的文档中包含的term生成二级特征向量的步骤进一步包括；

获取实体对应的文档中的term的逆文档频率，

根据所述逆文档频率确定二级特征向量候选term；

根据二级特征向量候选term生成二级特征向量。

其中，根据所述逆文档频率确定二级特征向量候选term的步骤进一步包括：

将所述逆文档频率与预定阈值进行比较；

选择逆文档频率高于预定阈值的term，作为二级特征向量候选term。

其中，根据所述一级特征向量和二级特征向量确定不同实体间的相似度的步骤进一步包括：

获取所述一级特征向量和二级特征向量的同义词；

根据所述一级特征向量、二级特征向量以及其同义词确定不同实体间的相似度。

其中，根据所述一级特征向量和二级特征向量确定不同实体间的相似度，进一步包括：

在第一级特征向量不同时，判断第一级特征向量是否为特定属性的相关数据；

如果是，则不进行实体合并；所述特定属性为预先设定的进行实体区分的属性。