[发明专利]一种基于MapReduce的度量空间相似连接处理方法

说明书

技术领域

本发明涉及计算机数据库领域中度量空间下的连接处理技术，特别是涉及一种基于MapReduce的度量空间相似连接处理方法。

背景技术

度量空间相似连接是指：在给定的度量空间中两个数据集之间的笛卡尔积中找到所有相似性高于(或者距离小于)给定阈值的数据对。度量空间相似连接处理被广泛地应用在社会的各个领域中，其中包括重复数据检测和删除。

随着以社交网络、电子商务为代表的新型信息发布方式的不断涌现，以及云计算、物联网计算机技术的兴起，数据正以前所未有的速度不断地增长和累积，随之而来是以MapReduce为代表的各类大数据分布式系统蓬勃发展，大数据的时代已经到来。在这样一个大数据时代，传统集中式的相似连接算法已经渐渐满足不了当前快速地对海量数据进行重复数据检测和删除的要求。因此，设计一个具有高可扩展性、高效率的分布式相似连接处理方法成为了学术界与工业界的迫切需求。

针对基于MapReduce的度量空间相似连接处理方法，目前国内外学者已经做出了一些工作。其中，最具代表性的算法是基于球形划分技术的MAPSS方法和基于二分超平面划分技术的ClusterJoin方法。然而，这些方法主要有两个缺陷：(1)这些方法随机地选择划分的中心点，这可能导致数据划分不均衡，需要对数据进行进一步的重划分；(2)这些方法只关注数据划分方案，而忽略了数据划分完成后，对各划分内部数据之间进行相似度计算时，设计剪枝策略以提高效率的方式。我们的方法很好地弥补了上述两个缺陷，提升了相似连接处理的效率，高效地对重复数据进行检测和删除。

发明内容

针对现有技术的不足，本发明提供一种基于MapReduce的度量空间相似连接处理方法，该方法基于MapReduce分布式计算框架，先在Map阶段对给定的数据集进行划分，而后在Reduce阶段进行相似性计算以得到重复数据结果，进而进行删除。

为了达到上述目的，本发明所采用技术方案如下：一种基于MapReduce的度量空间相似连接处理方法，具体包括如下步骤：一种基于MapReduce的度量空间相似连接处理方法，该方法的步骤如下：

(1)对应用中给定的度量空间数据集进行随机采样，得到样本数据；

(2)对得到的样本数据进行支枢点选择；

(3)将应用中给定的整个数据集(包括样本数据)从度量空间映射至向量空间；

(4)利用步骤(3)中得到的映射到向量空间的样本数据构建KD树，得到相应的空间划分；

(5)在Map阶段，根据步骤(4)中得到的空间划分，对步骤(3)中得到的整个数据集进行划分；

(6)在Reduce阶段对划分后的数据进行相似度计算，得到相似连接的处理结果。

进一步的，所述步骤(2)具体为：

(2.1)在样本数据中找出离群点作为支枢点的备选集合；

(2.2)根据支枢点的选择目标，对备选集合中的点进行增量式的贪心选择。

进一步的，所述步骤(3)具体为：对于每一个在度量空间中的数据，计算与步骤(2)中得到的支枢点之间的距离，并以求得的距离作为向量空间中各维度的坐标值，以得到度量空间数据在向量空间中的坐标。

进一步的，所述的步骤(4)具体为：对步骤(3)中得到的样本数据，构建KD树，得到的KD树中包含数据点个数相等的叶子节点，各叶子节点对应的空间区域即为空间划分的结果。

进一步的，所述的步骤(5)在Map阶段，将步骤(3)中得到的映射至向量空间后的整个数据集划分至步骤(4)中得到的相应空间划分中去。

进一步的，所述步骤(6)具体为：

(6.1)在Reduce阶段，对于每个划分，将各划分内部的数据在随机选定的一个维度上，使用快速排序算法进行排序整理；

(6.2)利用平面扫描法，对排序后的数据集进行度量空间距离计算以验证结果，并结合区域过滤技术对距离计算进行剪枝。

进一步的，所述区域过滤技术是指：若两个数据对象在向量空间任意维度上的差值大于给定的距离阈值，则它们不可能成为最终结果，从而可以不经过度量空间距离计算就被剪掉。