[发明专利]一种基于MapReduce的度量空间相似连接处理方法

权利要求书

1.一种基于MapReduce的度量空间相似连接处理方法，其特征在于，该方法的步骤如下：

(1)对应用中给定的度量空间数据集进行随机采样，得到样本数据。

(2)对得到的样本数据进行支枢点选择。

(3)将应用中给定的整个数据集(包括样本数据)从度量空间映射至向量空间。

(4)利用步骤(3)中得到的映射到向量空间的样本数据构建KD树，得到相应的空间划分。

(5)在Map阶段，根据步骤(4)中得到的空间划分，对步骤(3)中得到的整个数据集进行划分。

(6)在Reduce阶段对划分后的数据进行相似度计算，得到相似连接的处理结果。

2.根据权利要求1所述的基于MapReduce的度量空间相似连接处理方法，其特征在于：所述步骤(2)具体为：

(2.1)在样本数据中找出离群点作为支枢点的备选集合；

(2.2)根据支枢点的选择目标，对备选集合中的点进行增量式的贪心选择。

3.根据权利要求1所述的基于MapReduce的度量空间相似连接处理方法，其特征在于：所述步骤(3)具体为：对于每一个在度量空间中的数据，计算与步骤(2)中得到的支枢点之间的距离，并以求得的距离作为向量空间中各维度的坐标值，以得到度量空间数据在向量空间中的坐标。

4.根据权利要求1所述的基于MapReduce的度量空间相似连接处理方法，其特征在于：所述的步骤(4)具体为：对步骤(3)中得到的样本数据，构建KD树，得到的KD树中包含数据点个数相等的叶子节点，各叶子节点对应的空间区域即为空间划分的结果。

5.根据权利要求1所述的基于MapReduce的度量空间相似连接处理方法，其特征在于：所述的步骤(5)在Map阶段，将步骤(3)中得到的映射至向量空间后的整个数据集划分至步骤(4)中得到的相应空间划分中去。

6.根据权利要求1所述的基于MapReduce的度量空间相似连接处理方法，其特征在于：所述步骤(6)具体为：

(6.1)在Reduce阶段，对于每个划分，将各划分内部的数据在随机选定的一个维度上，使用快速排序算法进行排序整理；

(6.2)利用平面扫描法，对排序后的数据集进行度量空间距离计算以验证结果，并结合区域过滤技术对距离计算进行剪枝。

7.根据权利要求6所述的基于MapReduce的度量空间相似连接处理方法，其特征在于：所述区域过滤技术是指：若两个数据对象在向量空间任意维度上的差值大于给定的距离阈值，则它们不可能成为最终结果，从而可以不经过度量空间距离计算就被剪掉。