[发明专利]一种用于分布式资源需求及分配的系统和方法

权利要求书

1.一种计算机实现方法，用于分配分布式计算集群中的资源，以在所述分布式计算集群中执行分布式计算作业，其特征在于，所述计算机实现方法包括：

获得时长信息，所述时长信息指示执行所述分布式计算作业的分布式计算阶段中的一个或多个任务中的每个任务所用的时间；

基于所述时长信息将所述一个或多个任务划分为一个或多个组并为所述一个或多个组中的每个组确定资源需求；

基于所述一个或多个组中的每个组的所述资源需求，为所述阶段确定所述分布式计算集群的所述资源的时变分配额。

2.根据权利要求1所述的计算机实现方法，其特征在于，获得所述时长信息包括：从所述阶段的一次或多次历史运行中获得输入数据，并从所述输入数据中提取所述时长信息。

3.根据权利要求2所述的计算机实现方法，其特征在于，所述输入数据一直保持不变，所述输入数据的量低于预定阈值，并且进一步地，为所述一个或多个任务中的所有任务提取时长信息。

4.根据权利要求2所述的计算机实现方法，其特征在于，所述输入数据一直保持不变，所述输入数据的量高于预定阈值，并且进一步地，为随机选择的与所述一个或多个任务相关联的时长提取时长信息。

5.根据权利要求2所述的计算机实现方法，其特征在于，所述输入数据一直保持不变，所述输入数据的量高于预定阈值，并且进一步地，为预定数量的与所述一个或多个任务相关联的时长提取时长信息。

6.根据权利要求2所述的计算机实现方法，其特征在于，所述输入数据一直保持不变，所述输入数据的量高于预定阈值，并且进一步地，提取所述时长信息包括：应用流数据技术获得分级时长信息。

7.根据权利要求2所述的计算机实现方法，其特征在于，所述输入数据呈现出至少一种时变模式；并且进一步地，提取所述时长信息包括：

从所述输入数据中为所述阶段的所述一次或多次历史运行中的每次历史运行获得历史百分位时长信息；

基于所述历史百分位时长信息为每个阶段的至少一次未来运行预报预测的百分位时长信息。

8.根据权利要求1至7任一项所述的计算机实现方法，其特征在于，将在一个或多个计算槽位中执行所述一个或多个任务，并且进一步地，将所述一个或多个任务划分为一个或多个组包括：确定所述一个或多个组的分区，其中，所述分区满足所述一个或多个组的所需数量并使所述一个或多个计算槽位的合计面积最小。

9.根据权利要求8所述的计算机实现方法，其特征在于，确定所述一个或多个组的所述分区包括：应用动态规划技术将表示所述合计面积的成本函数最小化。

10.根据权利要求8所述的计算机实现方法，其特征在于，将所述一个或多个任务划分为一个或多个组包括：

(a)计算所述一个或多个计算槽位的第一合计面积，并将所述一个或多个任务划分为第一数量的所述一个或多个组；

(b)按预定步长增加所述第一数量得到所述一个或多个组的第二数量；

(c)计算所述一个或多个计算槽位的第二合计面积，并将所述一个或多个任务划分为所述第二数量的所述一个或多个组；

(d)计算所述第一合计面积与所述第二合计面积的差值，并将所述差值与预定阈值相比较；

(e)如果确定所述差值在所述阈值范围内，将所述第一数量设为所述所需数量；

(f)如果确定所述差值超出所述阈值，按所述预定步长增加所述第二数量得到所述一个或多个组的第三数量，将所述第二数量设为所述第一数量，将所述第三数量设为所述第二数量，并重复执行步骤(a)至(f)。

11.根据权利要求1至10任一项所述的计算机实现方法，其特征在于，确定所述资源需求包括：为所述一个或多个组中的每个组确定所述一个或多个任务中的若干任务、平均任务时长及最大任务时长。