[发明专利]一种基于唯一性约束的Deep Web实体识别方法

摘要

本发明在于公开了一种基于唯一性约束的Deep Web实体识别方法，方法包括两个主要步骤：首先从硬性约束角度出发，将问题归结为一个k部图聚类问题，提出了聚类算法；然后将其扩展到软性约束条件下，将实体识别问题归结为优化问题，并提出了匹配算法。本发明将记录连接和数据融合集成起来并以一种全局的方式应用它们，提出了在硬性约束下的k部图聚类问题，并将它扩展到软性约束的情况中；同时基于属性值的相似性和同一记录里属性之间的关联性做出全局性的决策，能够识别不正确的值并且将它们从一开始就和正确的值区分开来，从而获得更好的识别效果；且本发明方法对属性值进行聚类从而表现出更加细粒度的聚类效果。

主权项

1.一种基于唯一性约束的Deep Web实体识别方法，其特征在于，包括以下步骤：步骤1）唯一性约束定义 硬性唯一性约束设是领域上的一组实体，为上的一个属性，如果中的每个实体在属性上具有唯一的值，包括空值，那么定义一个在上关于的唯一性约束，表示为； 软性唯一性约束 设是领域上的一组实体，是上的一个属性，一个在上关于的软性唯一性约束定义为，其中是一个实体在上有多个值的上限边界概率，是上的一个值被多个实体共享的上限边界概率； k部图编码设是一组实体，是上的k个唯一性属性,是一组为提供数据的数据源，那么的部图编码是一个无向图，使得·中的每个结点表示属性的一种值表述方式，由中的某个数据源提供；· 每条边(，，，)表示存在一条记录使得和都属于这条记录，并将提供这样记录的数据源集合记为； 编码的解决方案设是实体集合上由数据源集合提供的一个部图编码，那么该编码的解决方案包含两部分：· 对于每个，存在一个的聚类，使得中的每一类别表示属性的一个唯一值；· 对于每个类别对和(，，，)，当且仅当它们属于中的同一实体时，存在一条边连接和；步骤2）基于唯一性约束的实体识别（a）硬性约束下的聚类算法给定一个聚类，它的索引定义如下：其中表示和之间的距离，    具体过程如下：（1）初始化，首先根据相似性为每个属性聚类，然后，在键值属性的类别集合和非键值属性的类别集合之间应用Hungarian算法找到具有最强关联的一对一的匹配关系；（2）调整，对于每个结点，在不改变其它结点所属类别的前提下，计算将分配到每个类别后的索引，将分配到使得索引最小的那个类别中；（3）收敛检查，重复执行（2），直到聚类结果不再改变为止；  （b）软性约束下的匹配算法  软性约束下的匹配问题可以归结为下面的介于键值属性和每个软性唯一性属性之间的优化问题：   具体过程如下：（1）结点选择，考虑属性将与该属性所有结点相关的所有边根据权重降序排列；将该属性的所有结点根据的值降序排列，其中和为结点的两条权重最高的边，选择前个结点作为候选结点集合并标记为，对于结点，度数；对于结点，从边集合开始，其中初始只包含与该结点相关的边中权重最高的两条边并计算该结点的局部分数；再按与该结点相关边的权重的降序，逐渐增加边到集合中，直到分数不再增加为止，此时；（2）边选择，将某条边按权重降序加入图会增加该匹配的分数，并且没有超过度数限制，那么就选择这条边，直到不存在这样的边为止。