[发明专利]一种基于分布感知的二元等值连接倾斜优化方法和系统

摘要

本发明公开了一种基于分布感知的二元等值连接倾斜优化方法，包括：使用两个MapReduce任务对准备进行二元连接操作的两个数据集合R和S分别进行采样，以获得两个样本集合，分别计算样本集合中倾斜键的权重和大小，将二者进行比较，选择比较结果中较大的一个所对应的数据集合作为主表，另一个所对应的数据集合作为副表；获取选定的主表和副表中各个簇的代价估计值，根据该代价估计值确定大簇集合和小簇集合，并为大簇集合和小簇集合分别生成RDD分区方案，使用大簇集合和小簇集合的RDD分区方案对主表和副表进行分区，根据对主表和副表进行分区的结果在Reduce端完成分区内的连接操作。本发明能够解决现有二元连接方法中存在的Reduce端容易发生负载倾斜的技术问题。

主权项

1.一种基于分布感知的二元等值连接倾斜优化方法，其特征在于，包括以下步骤：/n(1)使用两个MapReduce任务对准备进行二元连接操作的两个数据集合R和S分别进行采样，以获得两个样本集合D′_R与D′_S；/n(2)分别计算样本集合D′_R与D′_S中倾斜键的权重和大小，将二者进行比较，选择比较结果中较大的一个所对应的数据集合作为主表，另一个所对应的数据集合作为副表；/n(3)获取步骤(2)中选定的主表和副表中各个簇的代价估计值，根据该代价估计值确定大簇集合和小簇集合，并为大簇集合和小簇集合分别生成RDD分区方案，步骤(3)具体包括以下子步骤：/n(3-1)获取选定的主表和副表中各个簇的代价估计值：/n /n其中表示簇C_α的代价估计值，w_N和w_D分别表示网络开销和本地磁盘开销，w_N+w_D＝1；/n(3-2)根据步骤(3-1)中获取的主表和副表中各个簇的代价估计值分别确定主表和副表中的所有大簇和所有小簇，所有大簇形成大簇集合skewKeys，所有小簇形成小簇集合normalKeys；/n(3-3)根据大簇C_α的剩余代价和RDD分区的剩余代价确定大簇集合skewKeys的RDD分区方案skewKeyMap；步骤(3-3)进一步包括以下子步骤：/n(3-3-1)判断大簇C_α的剩余代价与RDD分区平均代价之间的关系是否有若是则转入步骤(3-3-2)，否跳转步骤(3-3-3)；/n(3-3-2)将大簇集合skewKeys中大簇C_α的键值对直接划分到剩余代价数组reduceArray中正序第一个cost_id值为mean′的分区的键值对<id,cost_id>，并记录下对应的划分比率<id,rate>，将<id,rate>添加到簇分区列表idList_α中，将簇α和簇分区列表idList_α作为键值对形成倾斜键分区方案skewKeyMap，并且将值减去mean′以得到新的将剩余代价cost_id减去mean′以得到新的cost_id，并返回步骤(3-3-1)，其中cost_id表示Reduce编号为id的分区的剩余代价，cost_id的初始大小为mean′，id为剩余代价数组reduceArray中划分给簇C_α的分区的Reduce编号，且0≤id≤n-1，rate表示分区占大簇集合skewKeys中大簇C_α总代价的比率，且有/n(3-3-3)判断大簇C_α的剩余代价是否等于0，若是，则进入步骤(3-4)，否则进入步骤(3-3-4)；/n(3-3-4)在剩余代价数组reduceArray中cost_id最小且大于的键值对<id,cost_r>，记录下对应的划分比率<id,rate>，将该划分比率<id,rate>添加到簇分区列表idList_α中，并且将设置为0，将cost_id减去mean′以得到新的cost_id，然后转入步骤(3-4)；/n(3-4)将小簇集合normalKeys中的小簇以剩余代价从小到大的顺序划分到剩余代价从大到小且不为零的RDD分区中，从而得到小簇集合的分区方案normalKeyMap；步骤(3-4)具体包括以下子步骤：/n(3-4-1)对于小簇集合normalKeys中所有小簇C_γ而言，根据该小簇C_γ的总代价进行倒序排列；/n(3-4-2)在RDD分区剩余代价数组reduceArray中找到剩余代价cost_id最大的键值对<id,cost_id>，将键值对<γ,id>添加到划分方案normalKeyMap中，同时在大于cost_id时，将减去cost_id作为新的在小于等于cost_id时，将设置为0；/n(3-4-3)将划分方案normalKeyMap按照键γ由大到小进行排序，以得到小簇的最终划分方案normalKeyMap；/n(4)使用步骤(3)中得到的大簇集合和小簇集合的RDD分区方案对主表和副表进行分区；/n(5)根据步骤(4)中对主表和副表进行分区的结果在Reduce端完成分区内的连接操作。/n