[发明专利]动态碎片分配调整

权利要求书

1.一种由一个或多个处理器执行的计算机实现的方法，该方法包括：

确定输入数据集的批量数据处理作业的目标完成时间，批量数据处理作业由多个任务执行，多个任务的每个处理不同的输入碎片，不同的输入碎片包括输入数据集的不同部分；

识别批量数据处理作业已经进入尾声状态，在尾声状态中，与输入数据集相关联的所有碎片正在由任务处理并且存在与批量处理作业相关联的至少一个空闲任务；

在识别批量数据处理作业已经进入尾声状态之后，从多个任务中，识别第一任务，第一任务具有大于批量数据处理作业的目标完成时间的估计完成时间，估计完成时间代表第一任务将完成处理由第一任务处理的第一输入碎片处的输入数据集的该部分的估计时间；以及

响应于识别出所述第一任务，将第一输入碎片分裂成第一分裂输入碎片和不同于第一分裂输入碎片的第二分裂输入碎片，第一分裂输入碎片包括第一输入碎片的第一部分，并且第二分裂输入碎片包括不同于第一部分的第一输入碎片的第二部分。

2.根据权利要求1所述的方法，还包括：

指派第一分裂输入碎片由第二任务处理；以及

将第二分裂输入碎片插入到未指派的碎片的池中以等待由可用的任务处理。

3.根据权利要求2所述的方法，其中第二任务是第一任务并且可用的任务是与批量数据处理作业相关联的空闲任务。

4.根据权利要求1所述的方法，其中多个任务的每个包括估计完成时间，估计完成时间代表任务将完成处理它的输入碎片的估计时间。

5.根据权利要求4所述的方法，其中至少部分地基于批量数据处理作业的多个任务的估计完成时间而确定目标完成时间。

6.根据权利要求4所述的方法，还包括至少部分地基于下面的至少一个，确定多个任务的每个的估计完成时间：对于多个任务的每个、剩余将要处理的输入碎片的一部分的大小，对于已经关于多个任务的每个而处理的输入碎片的一部分、与多个任务的每个相关联的处理速率，或者对于关于多个任务的每个在时间窗口内处理的输入碎片的一部分、与多个任务的每个相关联的近期处理速率。

7.根据权利要求1所述的方法，其中基于下面的至少一个确定目标完成时间：与批量数据处理作业相关联的历史信息，或者与其他批量数据处理作业相关联的历史信息。

8.根据权利要求1所述的方法，其中目标完成时间是由批量数据处理作业的管理员指定用于结束批量数据处理作业的截止时间。

9.根据权利要求1所述的方法，其中识别第一任务和分裂第一输入碎片由第一任务本身执行。

10.根据权利要求9所述的方法，其中识别第一任务包括：

由第一任务从与批量数据处理作业相关联的监管器处理接收目标完成时间；以及

由第一任务比较目标完成时间与估计完成时间以确定在目标完成时间之前第一任务将不会完成。

11.根据权利要求10所述的方法，其中分裂第一任务包括：

由第一任务将在目标完成时间之前第一任务将不能够处理的第一输入碎片的一部分的指示发送给监管器处理；以及

由监管器处理将第一输入碎片的该部分指派给空闲任务进行处理。

12.根据权利要求1所述的方法，其中确定批量数据处理作业的目标完成时间包括计算多个任务的估计完成时间以及与批量数据处理作业相关联的一个或多个空闲任务的估计完成时间的平均，其中一个或多个空闲任务的估计完成时间具有值0。

13.一种系统，包括：

存储器，用于存储数据；以及

一个或多个处理器，可操作以执行操作，包括：

确定输入数据集的批量数据处理作业的目标完成时间，批量数据处理作业由多个任务执行，多个任务的每个处理不同的输入碎片，不同的输入碎片包括输入数据集的不同部分；

识别批量数据处理作业已经进入尾声状态，在尾声状态中，与输入数据集相关联的所有碎片正在由任务处理并且存在与批量处理作业相关联的至少一个空闲任务；

在识别批量数据处理作业已经进入尾声状态之后，从多个任务中，识别第一任务，第一任务具有大于批量数据处理作业的目标完成时间的估计完成时间，估计完成时间代表第一任务将完成处理由第一任务处理的第一输入碎片处的输入数据集的该部分的估计时间；以及

响应于识别出所述第一任务，将第一输入碎片分裂成第一分裂输入碎片和不同于第一分裂输入碎片的第二分裂输入碎片，第一分裂输入碎片包括第一输入碎片的第一部分，并且第二分裂输入碎片包括不同于第一部分的第一输入碎片的第二部分。