[发明专利]基于复制和去冗余的聚类调度方法和装置

说明书

本申请涉及一种基于复制和去冗余的聚类调度方法、装置、存储介质和计算机程序产品，包括：获取处理目标任务的第一处理子队列，第一处理子队列中包括目标任务的缩略有向无环图的多个任务节点；基于缩略有向无环图的任务节点与目标任务的分区有向无环图的子任务节点的对应关系，将第一处理子队列分解为第二处理子队列；获取第二处理子队列中的各子任务节点的预估完成时间；发送第一通知信息，第一通知信息包括各子任务节点的预估完成时间，第一通知信息用于指示执行任务的处理器删除第一目标子任务节点，第一目标子任务节点为在执行任务的处理器上的预估完成时间，晚于第一通知信息中的预估完成时间的子任务节点。采用本方法能够提高调度效率。

技术领域

本申请涉及数据处理技术领域，特别是涉及一种基于复制和去冗余的聚类调度方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

背景技术

随着计算机发展速度的降低和对计算能力的需求的增加，任务并行化和分布式计算越来越流行，在基于计算资源处理任务时，需要一种合理有效地分配计算资源的调度方法，以便能够尽快完成任务并最大限度地提高资源利用率。

通常地，可以采用基于任务重复的调度方法实现对资源的有效调度，然而，上述方式会导致任务的调度效率低。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高调度效率的基于复制和去冗余的聚类调度方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

第一方面，本申请提供了一种基于复制和去冗余的聚类调度方法，包括：获取处理目标任务的第一处理子队列，所述第一处理子队列中包括所述目标任务的缩略有向无环图的多个任务节点；基于所述缩略有向无环图的任务节点与所述目标任务的分区有向无环图的子任务节点的对应关系，将所述第一处理子队列分解为第二处理子队列，所述第二处理子队列中包括各所述任务节点对应的多个子任务节点；获取所述第二处理子队列中的各所述子任务节点的预估完成时间，任意一个子任务节点的所述预估完成时间，为所述第二处理子队列中的所述子任务节点的前相邻子任务节点的预估完成时间，与所述子任务节点的预估处理时间的和值；发送第一通知信息，所述第一通知信息包括各所述子任务节点的所述预估完成时间，所述第一通知信息用于指示执行任务的处理器删除第一目标子任务节点，所述第一目标子任务节点为在所述执行任务的处理器上的预估完成时间，晚于所述第一通知信息中的预估完成时间的子任务节点。

在其中一个实施例中，所述获取处理目标任务的第一处理子队列，包括：获取所述目标任务的缩略有向无环图；对所述缩略有向无环图中的任务节点进行划分，获得两个以上的队列；将所述两个以上的队列中的其中一个队列，确定为所述第一处理子队列。

在其中一个实施例中，所述对所述缩略有向无环图中的任务节点进行划分，获得两个以上的队列，包括：若所述缩略有向无环图中存在多个叶子任务节点，将各所述叶子任务节点分别分配在第一队列中，各所述叶子任务节点为出度为0的任务节点；确定各所述叶子任务节点对应的关键前驱任务节点，以及对应的所述关键前驱任务节点的多个前驱任务节点，并将对应的所述关键前驱任务节点以及对应的所述关键前驱任务节点的多个前驱任务节点分配在对应的所述第一队列中；若所述缩略有向无环图中不存在叶子任务节点，获取所述缩略有向无环图中未分配队列的多个任务节点；将未分配处理队列的各所述任务节点分配在第二队列中；所述两个以上的队列包括所述第一队列以及所述第二队列。

在其中一个实施例中，所述确定所述叶子任务节点的关键前驱任务节点，包括：计算所述叶子任务节点的多个前驱任务节点的最早完成时间；所述最早完成时间为各所述前驱任务节点的最早开始时间与各所述前驱任务节点的预估处理时间的和值，所述最早开始时间为各所述前驱任务节点的多个前驱任务节点的最晚完成时间；将各所述前驱任务节点中的最早完成时间最大的前驱任务节点，确定为所述关键前驱任务节点。