[发明专利]动态碎片分配调整

说明书

本公开涉及在并行处理操作期间动态调整碎片分配。一种示例方法包括确定由多个任务执行的输入数据集的批量数据处理作业的目标完成时间，多个任务的每个处理不同的输入碎片，不同的输入碎片包括输入数据集的不同部分；识别估计的完成时间大于批量数据处理作业的目标完成时间的第一任务；以及将第一输入碎片分裂成第一分裂输入碎片和不同于第一分裂输入碎片的第二分裂输入碎片，第一分裂输入碎片包括第一输入碎片的第一部分，并且第二分裂输入碎片包括不同于第一部分的第一输入碎片的第二部分。

背景技术

大规模数据处理可以包括并行处理，其通常涉及同时在大数据集的每个元素上执行一些操作。数据集可以分裂成较小的集合，称作“碎片”，并且由单独的处理和/或设备并行处理。

发明内容

本公开涉及在并行处理操作期间动态调整碎片分配。

一般来说，在本说明书中描述的主题的一个革新方面能够在方法中实施，方法包括下面的动作：确定输入数据集的批量数据处理作业的目标完成时间，批量数据处理作业由多个任务执行，多个任务的每个处理不同的输入碎片，不同的输入碎片包括输入数据集的不同部分；从多个任务中，识别具有大于批量数据处理作业的目标完成时间的估计的完成时间的第一任务，估计的完成时间代表第一任务将完成处理由第一任务处理的第一输入碎片处的输入数据集的该部分的估计时间；以及将第一输入碎片分裂成第一分裂输入碎片和不同于第一分裂输入碎片的第二分裂输入碎片，第一分裂输入碎片包括第一输入碎片的第一部分，并且第二分裂输入碎片包括不同于第一部分的第一输入碎片的第二部分。

该方面的其他实施例包括相应的系统、装置以及编码在计算机存储设备上、被配置为执行方法的动作的计算机程序。

能够实现在该说明书中描述的主题的特定实施例以实现下面的优点的一个或多个。通过在处理作业期间动态地适配碎片分配，可以更好地优化碎片分配，因为关于每个特定碎片的更多信息可用，诸如它的大小、复杂度、平均处理速率或者其他信息。以这种方式适配碎片分配也允许分配响应观察到的条件而改变，诸如任务(例如，计算资源)处理碎片比预期更慢或者另外的处理资源正在变得可用。

在该说明书中描述的主题的一个或多个实施例的细节在下面的附随附图和描述中陈述。主题的其他特征、方面和优点将从描述、附图和权利要求书中变得明白。

附图说明

图1是在并行处理操作期间动态调整碎片分配能够发生的环境的框图。

图2A-2B是在碎片分裂之前和之后的系统配置的框图。

图3是在并行处理操作期间动态调整碎片分配的示例处理的顺序图。

图4是在并行处理操作期间动态调整碎片分配的示例处理的流程图。

图5是示例计算设备的框图。

在各种附图中相同的附图标记和名称指示相同的元素。

具体实施方式

大规模并行数据处理应用必须分发大的输入数据集用于由任务池(例如，计算资源)进行处理。这可以通过将输入数据集划分成较小的集合或者“碎片”，并且将碎片指派给可用的任务来执行。在涉及异质性输入数据集、任务执行环境、网络条件或者其他变化因素的情况下，可能难以均匀地划分输入数据集，使得每个任务在相似量的时间内处理它的被指派的碎片。大相径庭的碎片处理时间可以导致比其他碎片花费更长时间进行处理的“落后者”碎片。如果特定作业在完成之前需要所有碎片被处理，那么落后者碎片可以主导该特定作业的总体运行时间。而且，如果任务的计算结果没有提交到诸如远程磁盘这样的永久存储器，那么落后者碎片可能是成问题的。因为前述异质性，输入数据集的特定区段可能处理起来非常慢或者可能包含比预期的更多的记录。如果处理该碎片的任务在输出持久化之前失败，那么所有的进展可能丢失。如果系统等待直到在提交工作之前处理整个碎片，那么大量的工作可能需要重做。大的碎片大小可以加剧这种问题。