[发明专利]一种适合大数据环境具有抗噪声能力的实体解析方法

说明书

技术领域

本发明属于数据集成系统领域，具体涉及一种适合大数据环境具有抗噪声能力的实体解析方法。

背景技术

随着信息技术的发展，数据获取途径呈现多样化的趋势，数据质量问题成为人们面临的最大挑战。如何从海量数据中快速有效地获取有用信息，已经成为人们研究的焦点。数据集成不仅可以丰富单一数据的内容，还能够提高数据的准确性。实体解析是数据集成的一个重要步骤，它的任务是从不同的数据源中找出指代现实世界中同一实体的记录。已有的实体解析算法通常是基于特征匹配的，这不仅需要很大的计算开销，而且严重依赖于数据模式的存在。另一方面，实体解析算法最终的结果常常不具备传递闭包的性质，即会出现类似于A和B属相同实体，B和C属相同实体，而A和C却属于不同实体的情况，即出现冲突（conflicts）。为解决该问题，有些实体解析算法会对结果进行传递性闭包分析（transitive closure analysis，记为Trans），即对上述情况，即使A和C的判别结果为不同，而最终的分析结果会认为A和C相同。如果B和C被算法判别相同的依据很弱，而A和C被算法判别为不同的依据又很强的话，简单地进行传递性闭包分析显然会得出错误的结论。

数据质量问题在大数据环境下显得更为突出。大数据具备四个特点：数据量大（Volume）、数据更新速度快（Velocity）、数据源多样（Variety）和数据存在噪声（Veracity），即4Vs特点。数据量大的特点使得我们不能选用计算开销比较大的方法，数据源多样使得我们的算法不能过度依赖模式，数据存在噪声使得算法解析的结果存在冲突的可能性变大。

因此，实体解析算法的计算开销大、模式依赖性强、抗噪声能力弱的技术问题亟待解决。

相关性聚类是实体解析的一个标准方法，由Bansal等人提出，目标是找到一个能够消除冲突的聚类结果，同时使得该结果尽可能与实体解析算法的判断一致。

给定一个无向完全图G=(V,E),其中每一条边(i,j)都有一个概率p_i,_j，表示将节点i和j归到一个类中的概率。如果用表示切断边(i,j)的代价，表示保留边(i,j)的代价，x_i,j表示二值变量，当节点i和j被分到同一个类中时，x_i,j＝1；否则，x_i,j＝0。相关性聚类的目标函数可以写成：

minΣij,:i<jxijwi,j-+(1-xij)wi,j+,]]>

其中，简记为

相关性聚类算法是一个NP-hard问题，因此很多启发式算法被提出，其中，Pivot和Vote是最具代表性的两个算法。Pivot算法按照一个节点序列，每次选取一个未被归类的节点作为中心，简单地将与之相邻且未被归类的节点j归到同一个类中。Vote算法按照投票的方式决定节点的归属，算法每次选择一个未被归类的节点i，计算每一个已生成的类对该节点的投票情况，将节点i放到投票最多的类c中，即类c满足其中C为已经生成的类。如果没有已生成的类，或所有已生成的类对节点i都持中立或反对票，我们就将该节点单独作为一个新的类，加入到C中。