[发明专利]科学工作流调度处理方法及装置

说明书

【技术领域】

本发明涉及数据处理领域，具体涉及科学工作流调度处理方法及装置。

【背景技术】

网格就是通过将大规模的、分散的、异构的计算资源、存储资源、数据资源等整合起来实现一个全球的为科学研究、商业运营等提供虚拟服务的网络基础设施。近些年来越来越多的科学领域例如生物医学、地理、天体物理等开始使用网格来进行学科内和学科间的大数据集的分享、管理与处理。在这种大数据、密集计算的环境下，科学工作流在网格中的应用显得越来越重要。采用科学工作流的主要目的在于可以将处理大数据的复杂过程模块化、不透明化，可以实现把需要多次计算、重复计算的过程简单地调用和复用，可以将一个大的工作流程分阶段化并且分配到不同的计算资源上实现并行化以减少时间提高效率。一个安排好的工作流可以根据既定的子工作块的依赖关系和资源分布实现过程执行的自动化，最大化节省资源和提高使用的满意度，因此工作流的调度问题成为网格计算中工作流管理应用的关键。调度即为将具有内部关联的不同任务映射到异构的资源上进行执行的过程。

在网格环境下一个科学工作流应用通常表示为一个有向无回路图(Directed Acyclic Graph，缩写DAG)，每个节点代表一个任务，图的边代表了各个任务间的依赖关系。节点的权重代表了任务的大小，边的权重代表了任务结束输出文件的大小。由于DAG调度问题是一个NP复杂度的问题，无法使用严格的数学推导得出最优的调度策略，目前国内外的众多学者提出了很多启发式和元启发式算法。与此同时工作流的调度算法又可以分为两大类即基于尽力而为(Best-Effort)和基于服务质量控制(QoS-constraint)的调度算法。基于尽力而为的算法不考虑资源的金钱花费，竭尽全力实现最早完成执行任务或者最小化工作流的总体完成时间。基于服务质量控制的调度算法不仅考虑尽早完成任务同时考虑使用不同资源的物质花费，以达到不同网格用户的服务质量的要求。

在公共网格(或称社区网格)环境下，网格资源的使用主要集中在科学研究领域，为不同学科的科学家进行研究提供和支持，同时也可以为普通民众提供独立研究的平台。在该环境下科学工作流的调度算法主要采用基于尽力而为的调度算法，尽可能的为科学家或者民众提供好的资源服务。

目前在基于尽力而为调度算法方面已有一些比较成熟的算法，各有优缺点，使用的场景不尽相同。Myopic算法是一种最为简单的调度算法，每次任意调度一个可调度的任务到一个最优的资源上，但是结果往往总执行时间较长，资源负载平衡性不好；Min-Min算法每次在所有可执行的任务中执行具有最小预期执行时间的任务，分配到相应的资源，直到所有的任务调度完成，调度结果一般可以缩短总的执行时间但是在资源差异较大时，负载不均衡性较大，相应的总执行时间也会变长；Max-Min算法即是在Min-Min算法上进行改进，在执行过程中只是每次执行所有可执行任务具有最大预期执行时间的任务，并且将其映射到花费时间最小的资源上，负载均衡性好，但是在较少短任务较多长任务的情况下不如Min-Min算法。Sufferage算法寻找调度损失最大的任务优先执行，一般来说平衡性好，但是当在多集群环境下执行效果不好；DCP(Dynamic Critical Path，动态关键路径算法)首先要计算每个任务的最早开始时间与最晚开始时间，两者相等的任务认为是关键路径上的任务优先执行，一般该调度算法时间花费相比前几种较长，在不规则工作流情况下总执行时间也较长；遗传算法属于元启发式算法，需要在全局范围内搜索最优解，所以本身算法执行时间最长，有时因为适应度函数等条件设置不当会陷入局部最优点，导致效果不理想，而且动态特性较差，结果也不如以上几种算法。

【发明内容】

为了克服现有技术的不足，本发明提供了一种科学工作流调度处理方法及装置。

一种科学工作流调度处理方法，包括如下步骤：

S10，查询作为目标的异构计算资源，记录每个异构计算资源的计算能力PC_j，其中，PC_j表示第j个异构计算资源的计算能力；

S20，查询作为目标的科学工作流中所有可调度的任务；

S30，计算所有可调度的任务中的每个任务t_i在可利用的第j个异构计算资源r_j上的任务百分比p(t_i，r_j)：