[发明专利]一种最小化作业完工时间的Spark任务分配方法

权利要求书

1.一种最小化作业完工时间的Spark任务分配方法，其特征在于，包括以下步骤：

S1,计算所有待处理作业集合中所有作业的各调度阶段的优先级；本步骤进一步包括：

S11，对作业内调度阶段的拓扑进行排序；

S12，将拓扑序列中最后一个调度阶段的优先级初始化为0，按照拓扑的逆序，依次求得各调度阶段的优先级；各调度阶段优先级的计算方法为：分别求所有后继调度阶段优先级与执行时间之和，取最大值；

S2，判断待处理作业集合中是否还有未完成资源分配的作业，若有，继续步骤S3；否则，方法结束；

S3，从所有作业中选择所有尚未完成资源分配且入度为0的调度阶段，将其插入到就绪调度阶段队列中，且保持该队列按作业及调度阶段优先级从高到低的顺序排列，所述队列中队首为优先级最高的作业中拥有最高优先级的待分配资源的调度阶段；本步骤具体包括：

S31，将调度阶段中的任务按照各个任务待处理数据量降序排序；

S32，从调度阶段中未分配资源的任务中选择待处理数据量最大的任务，将该任务分配在能使其获得最早完工时间的节点上执行；

S33，重复步骤S32，直到调度阶段中所有任务完成资源分配；

S4，判断就绪调度阶段队列是否不为空且服务资源充足，若是，继续步骤S5；若否，转入步骤S7；

S5，按照优先级依次为队列中的调度阶段分配资源，直至队列为空或者服务资源不够；

S6，将已分配资源的调度阶段从就绪调度阶段队列中删除；

S7，等待有调度阶段执行完，释放占用的资源，将执行完的调度阶段从该调度阶段所属的作业中删除，返回步骤S2。