[发明专利]用于在分布式ETL作业中控制倾斜的装置及方法

权利要求书

1.一种在分布式ETL作业中控制倾斜的装置，包括：

分割部，将原始数据分割而生成将要通过多个ETL任务而被分布式处理的多个分区；

再分割部，基于所述多个分区各自的大小来识别所述多个分区中的落后者，并基于可用容器的数量来将所述落后者分割。

2.如权利要求1所述的在分布式ETL作业中控制倾斜的装置，其中，

所述再分割部对所述多个分区各自所包含的数据的数量进行计数，并将计数的所述数据的数量为基准值以上的分区识别为所述落后者。

3.如权利要求1所述的在分布式ETL作业中控制倾斜的装置，其中，

所述再分割部计算所述多个分区的数据数量的中位数或平均值，并将所述多个分区中的具有与所述中位数或平均值之差为基准值以上的数据数量的分区识别为所述落后者。

4.如权利要求1所述的在分布式ETL作业中控制倾斜的装置，其中，

在用于执行针对所述多个分区各自的ETL任务的容器的数量小于最大可用容器的数量的情况下，所述再分割部将所述落后者分割。

5.如权利要求1所述的在分布式ETL作业中控制倾斜的装置，其中，

在用于执行针对所述多个分区各自的ETL任务的容器的数量等于最大可用容器的数量的情况下，所述再分割部将所述多个分区中的大小最小的两个分区合并，然后将所述落后者分割。

6.如权利要求5所述的在分布式ETL作业中控制倾斜的装置，其中，

在所述两个分区的大小之和小于所述落后者的大小的情况下，所述再分割部将所述两个分区合并。

7.如权利要求1所述的在分布式ETL作业中控制倾斜的装置，其中，还包括：

合并部，识别没有从所述落后者分割的分区及从所述落后者分割的分区中的大小小于基准值的分区，并将识别的所述分区与其他分区合并而生成大小为所述基准值以上的分区。

8.如权利要求7所述的在分布式ETL作业中控制倾斜的装置，其中，

所述合并部对没有从所述落后者分割的分区以及从所述落后者分割的分区各自所包含的数据的数量进行计数，并识别计数的所述数据的数量小于所述基准值的分区。

9.如权利要求7所述的在分布式ETL作业中控制倾斜的装置，其中，

所述基准值以如下方式被设定，令用于执行任务的容器的启动及销毁所需时间为在所述容器中执行所述任务所需的时间以下。

10.一种在分布式ETL作业中控制倾斜的方法，包括以下步骤：

将原始数据分割而生成将要通过多个ETL任务而被分布式处理的多个分区；

基于所述多个分区各自的大小来识别所述多个分区中的落后者；以及

基于可用容器的数量来将所述落后者分割。

11.如权利要求10所述的在分布式ETL作业中控制倾斜的方法，其中，

所述进行分割的步骤包括以下步骤：

对所述多个分区各自所包含的数据的数量进行计数；以及

将计数的所述数据的数量为基准值以上的分区识别为所述落后者。

12.如权利要求10所述的在分布式ETL作业中控制倾斜的方法，其中，

进行所述识别的步骤包括以下步骤：

计算所述多个分区的数据数量的中位数或平均值；

将所述多个分区中具有与所述中位数或平均值之差为基准值以上的数据数量的分区识别为所述落后者。

13.如权利要求10所述的在分布式ETL作业中控制倾斜的方法，其中，

在进行所述分割的步骤中，在用于执行针对所述多个分区各自的ETL任务的容器的数量小于最大可用容器的数量的情况下，将所述落后者分割。

14.如权利要求10所述的在分布式ETL作业中控制倾斜的方法，其中，

在进行所述分割的步骤中，在用于执行针对所述多个分区各自的ETL任务的容器的数量等于最大可用容器的数量的情况下，将所述多个分区中的大小最小的两个分区合并。

15.如权利要求14所述的在分布式ETL作业中控制倾斜的方法，其中，

在进行所述合并的步骤中，在所述两个分区的大小之和小于所述落后者的大小的情况下，将所述两个分区合并。