[发明专利]一种用于分布式资源需求及分配的系统和方法

说明书

获得时长信息，所述时长信息指示执行分布式计算集群中的分布式计算作业的分布式计算阶段中的一个或多个任务中的每个任务所用的时间。基于所述时长信息将所述一个或多个任务划分为一个或多个组，并为所述一个或多个组中的每个组确定资源需求。基于所述一个或多个组中的每个组的所述资源需求，为所述阶段确定所述分布式计算集群中的资源的时变分配额。

相关申请案交叉申请

本专利申请要求2017年9月19日递交的发明名称为“System and Method ForDistributed Resource Requirement and Allocation”的第62/560,443号美国专利申请案及2018年3月21日递交的发明名称为“System and Method For Distributed ResourceRequirement and Allocation”的第15/927,677号美国专利申请案的在先申请优先权，其全部内容以引入的方式并入本文。

技术领域

本文描述的实施例通常涉及分布式计算领域，更具体地，涉及资源需求及分配。

背景技术

计算工作流由多个相互依赖的计算任务组成，这些计算任务运行在分布式计算集群中。对于随时间重复运行的分布式计算作业，需要针对作业指定所有阶段的资源需求以及每个阶段的分配额。这样就可以预留所需资源。因此可以完成该阶段并确定该阶段及该作业在更大的工作流计划中的位置。然而，由于工作流的复杂性，要简明而准确地指定该资源需求并非易事。而且，由于随着时间的推移，各阶段使用的资源数量不同，很难利用某个阶段的历史运行信息确定单个资源需求。另一个问题是在特定资源需求定义下找到一种资源分配额形状，以保证任务在其分配额内完成。

因此，需要一种改善的系统和方法，用于分布式计算系统中的资源需求及分配。

发明内容

根据一方面，提供一种方法，包括：获得时长信息，所述时长信息指示执行分布式计算阶段中的一个或多个任务所用的时间；基于所述时长信息将所述一个或多个任务划分为一个或多个组并为所述一个或多个组中的每个组定义资源需求；基于所述资源需求为所述阶段确定资源的时变分配额。

在一些示例性实施例中，获得所述时长信息可包括：从所述阶段的一次或多次历史运行中获得输入数据，并从所述输入数据中提取所述时长信息。

在一些示例性实施例中，所述输入数据可以一直保持不变，所述输入数据的量可以低于预定阈值，且可以为所述一个或多个任务中的所有任务提取时长信息。

在一些示例性实施例中，所述输入数据可以一直保持不变，所述输入数据的量可以高于预定阈值，且可以为随机选择的与所述一个或多个任务相关联的时长提取时长信息。

在一些示例性实施例中，所述输入数据可以一直保持不变，所述输入数据的量可以高于预定阈值，且可以为预定数量的与所述一个或多个任务相关联的时长提取时长信息。

在一些示例性实施例中，所述输入数据可以一直保持不变，接收的输入数据量可以高于预定阈值，提取所述时长信息可包括：应用流数据技术获得分级时长信息。

在一些示例性实施例中，所述输入数据可呈现出至少一种时变模式；提取所述时长信息可包括：从所述输入数据中为所述阶段的所述一次或多次历史运行中的每次历史运行获得历史百分位时长信息，并基于所述历史百分位时长信息为每个阶段的至少一次未来运行预报预测的百分位时长信息。

在一些示例性实施例中，可以在一个或多个计算槽位中执行所述一个或多个任务；将所述一个或多个任务划分为一个或多个组可包括：确定所述一个或多个组的分区，其中，所述分区满足所述一个或多个组的所需数量并使所述一个或多个计算槽位的合计面积最小。

在一些示例性实施例中，确定所述一个或多个组的所述分区可包括：应用动态规划技术将表示所述合计面积的成本函数最小化。