[发明专利]时态数据集上的实体识别方法

说明书

本发明涉及计算机技术领域，提供一种时态数据集上的实体识别方法。该方法主要包括以下步骤：S1：基于规则对数据进行预处理；S2：框架聚类；S3：类融合。本发明首次针对无时间戳的时态数据集合上实体识别问题上提出了解决方法，定义了时态数据集上属性的不确定性，并相应地对记录之间的相似度计算采用了动态权重的计算方法，这种动态权重计算方法的效果是明显优于固定权重的。本发明有效地结合了否定匹配依赖规则和时序约束规则，减少了算法运行的时间并保证了算法输出的结果，对于实体识别中的聚类分析阶段，提出了新颖的时态聚类算法。

技术领域

本发明涉及计算机技术领域，尤其涉及一种时态数据集上的实体识别方法。

背景技术

现实世界中的数据往往存在诸多质量问题：不一致、重复、不精确、不完整、过时等。有效的数据质量管理有助于这些问题的解决。而实体识别技术在数据质量管理过程中具有基础性作用，实体识别的结果可以在数据质量管理的其他环节得到广泛应用，如冗余消除、错误检测、不一致检测、冲突消解等。

实体识别技术的目的是，发现数据集中同一现实世界实体的不同表现形式。实体识别中使用最广泛的方法即基于阈值的方法。基于阈值的方法分为两步：首先，对集合中的记录两两计算相似度；然后，按相似度进行聚类，将相似度高的聚为一类。那么相同类别中的记录即指向同一实体。

基于阈值的方法主要有两个问题。首先，同一个实体的某些属性会随着时间而改变，在不同时间点观测的两条记录之间会有较低的相似度。于是，较高的阈值会导致召回率过低，而较低的阈值会导致误报率偏高。此外，由于需要对初始集合中的所有记录之间计算相似度，基于阈值的方法运行时间极为漫长，效率低下。

发明内容

本发明要解决的技术问题是提供一种时态数据集上的实体识别方法，能够提高时态数据集上实体识别的效率和准确率。

(二)技术方案

为了解决上述技术问题，本发明提供了一种时态数据集上的实体识别方法，包括以下步骤：

S1：基于规则对数据进行预处理，根据否定匹配依赖规则将初始数据集合S分成多个小集合，利用时序约束规则对不可能指向同一实体的记录对之间标记符号“-”，每个小集合中未被标记符号“-”的记录之间使用符号“·”进行连接并计算它们的相似度sim(t₁,t₂)；

S2：框架聚类，当两条记录t₁,t₂之间有符号“·”连接且它们的相似度sim(t₁,t₂)大于阈值θ_h时，使用符号“+”连接这两条记录，在存在“+”关系的记录对上计算传递闭包以得到初始数据集S的框架聚类结果Q；

S3：类融合，定义所述框架聚类结果Q中只包含一条记录的类为单体类，包含多条记录的类为实体类，将所述单体类选择性地融合到所述实体类中转化为候选类，所述实体类直接转化为候选类，进一步对所述候选类进行融合。

进一步的，所述步骤S1中，利用式(1)中的否定匹配依赖规则划分初始数据集S：

此规则表明当任意两条记录t₁与t₂，在属性A_j上不相同时，它们一定指向不同实体。

进一步的，步骤S1中的所述初始数据集合S为职员信息管理数据，所述时序约束规则为式(2)、(3)、(4)