[发明专利]基于迭代匹配的大型异构知识库对齐方法

说明书

本发明公开了一种基于迭代匹配的大型异构知识库对齐方法，具体实施如下：1)对原知识库中的数据进行筛选、统一数据格式，在此基础上获取知识库中的关系和初始匹配实体对；2)利用知识库中的关系对预处理后的知识库分区，并精简区块；3)利用已匹配实体对匹配区块，得到匹配区块对；4)在匹配区块对中挑选候选实体对，并结合相似度度量方法和阈值确认候选实体对；5)重复上述步骤，直到不能发现新的候选实体对，得到所有匹配实体对。本发明结合迭代匹配的思想对齐异构知识库，在知识库对齐、数据融合、自动问答等领域具有广阔的应用前景。

技术领域

本发明涉及知识库对齐领域，尤其涉及一种基于迭代匹配的大型异构知识库对齐方法。

背景技术

随着Web 3.0的到来，结构化的知识库越来越频繁地出现在互联网上。这些知识库被广泛应用于各类语义应用中，例如：自动问答、搜索服务和社交服务等。然而，单个知识库的信息有限，限制了这些应用的功能。在此背景下，知识库对齐有了巨大的发展空间。知识库对齐(Knowledge Base Alignment)通常指知识库的实体对齐，即自动发现代表现实中同一事物的两个实体并连接它们。

由于知识库规模的不断增长，知识库对齐方法通常将对齐过程分为两个步骤：发现候选实体对和确认候选实体对。发现候选实体对通常利用少量属性快速为每个实体筛选出几个候选实体，确认候选实体对通过全面比较两个实体，利用相似度和阈值判断两实体是否匹配。由于避免了实体两两之间的精确比较，这种做法大大提高了方法的整体效率。目前，知识库对齐方法的瓶颈在于发现的候选实体对常常有所遗漏，进一步导致可匹配的实体对未被发现。

为提高候选实体对的质量，研究人员提出使用迭代匹配的思想，即每轮发现少量的匹配实体对，并作为下一轮发现候选实体对的依据。然而，传统的知识库对齐方法通常关注同构知识库对齐，即两知识库间有较多可对齐关系。其基本假设为：如果一对实体对匹配，并且它们有对齐的关系，那么它们的“兼容邻居”有较大概率匹配，因此将“兼容邻居”作为候选实体对。但是，由于知识库间可对齐关系少，传统方法将遗漏部分候选实体对。为了解决该问题，研究人员提出使用基于类的知识库对齐方法。该方法将具有相同特征的实例划分到同一个类中，并排除与类的内容不相关的候选实体，以此来确认候选实体对。然而，由于该方法仅在模型初始阶段通过经典的分区技术获取候选实体对，因此当两个知识库间对齐的属性较少时，该方法也将遗漏较多的候选实体对。

发明内容

鉴于上述，本发明提出了一种基于迭代匹配的大型异构知识库对齐方法。该方法结合迭代匹配思想来进行知识库对齐，使用迭代框架遍历关系对知识库进行分区，扩大了候选实体对的搜索空间；同时，采用使用分治思想挑选和确认候选实体对，使得每个实体仅需和几个候选实体进行全面比较，提高了方法的效率。

一种基于迭代匹配的大型异构知识库对齐方法，具体包括：

数据预处理阶段：对任意两个原知识库KB₁、KB₂中的数据进行筛选、统一数据格式以及剔除无意义字符处理，并统计获取与处理后知识库KB′₁相对应的关系集R₁、与处理后知识库KB′₂相对应的关系集R₂，比较获取初始匹配实体对集

知识库对齐阶段：利用关系集R₁与关系集R₂中的关系对知识库KB′₁和知识库KB′₂进行分区，并对每个区块进行精简，得到精简区块集B′₁和B′₂；然后，利用初始匹配实体对集匹配精简区块集B′₁和B′₂中的区块，得到匹配区块对，最后，在匹配区块对中挑选候选实体对，并结合相似度度量方法和阈值δ_e确认候选实体对。

所述的数据预处理阶段的具体步骤为：