[发明专利]云环境下科学工作流中的任务调度方案生成方法及装置

说明书

技术领域

本发明涉及科学工作流任务调度技术领域，更为具体来说，本发明为云环境下科学工作流中的任务调度方案生成方法及装置。

背景技术

科学工作流(Scientific Workflow，SWF)是近年来发展起的一种新的应用泛型，支持科研人员集成、构造和协同分布异构的数据、服务和软件工具，并提供了一个科学计算复杂流程和自动运行的管理平台。与传统的面向控制流的业务流(Business Workflow，BWF)相比而言，面向数据流是科学工作流的重要特点之一。

随着科学技术日益发展，SWF已经逐步发展为数据和计算密集的应用泛型，其数据产生速度和科学计算变得日益复杂，常规的计算环境很难满足SWF计算需求。因此，云计算以高性能的计算资源与海量的存储资源为科学工作流应用提供了一种全新的部署和执行方式。

虽然在理论上云环境可以提供无穷的计算和存储能力，用户可以按照需求租用其计算资源。但是，计算资源提供方案的变化可能涉及到实例的创建、分配及数据移动，需要付出相关的代价，并可能影响科学工作流的执行效率和支付的费用。

所以，制定一个合理的初始执行计划生成对用户和管理人员都是非常重要的。将工作流任务合理的映射到计算资源上是工作流执行的基础，也与工作流的执行效率和执行代价密切相关，该过程被称为：工作流的执行计划生成，其关键是把任务调度到合适的计算资源上，现有技术中，主流的科学工作流调度算法均基于启发式调度，其主要包括聚簇算法和基于遗传算法的调度算法等。基于聚簇算法是将一个簇映射到现实虚拟机上，但是存在簇间任务重复的问题；基因遗传算法虽然在调度算法中能通过选择、交叉、变异的严密调度得到较优的收敛时间，但它在选择过程中随机性非常高，不能提前确定下个调度作业，而且交叉和变异的过程中往往需要大量计算时间开销和计算开销。

因此，鉴于现有技术存在的资源浪费、时间开销大等问题，如何生成合适的任务调度方案成为了本领域技术人员亟待解决的技术问题和始终研究的重点。

发明内容

为克服现有技术存在的资源浪费、时间开销大等问题，本发明提供了云环境下科学工作流中的任务调度方案生成方法及装置，不仅提高了资源利用率，而且缩短了科学工作流的运行时间。

为实现上述的技术目的，本发明公开了云环境下科学工作流中的任务调度方案生成方法，所述任务调度方案生成方法包括如下步骤，

步骤1，获取所有待被调度的任务；

步骤2，通过带权值的有向无环图描述待被调度的任务；所述有向无环图中，圆圈为任务节点、代表被调度的任务，连接两个圆圈的边为通信边、代表被调度的任务之间的通信，所述边的方向表示任务执行的顺序；

步骤3，在所述有向无环图中，自开始节点向结束节点遍历，获得所有路径；

步骤4，计算各路径的时间消耗，根据所述时间消耗由大到小的顺序将所有路径降序排序、确定路径的优先级；

步骤5，根据路径的优先级顺序生成任务调度方案。

通过上述包含任务节点的路径优先级排序方案，将任务节点按优先级顺序进行调度，本发明提前了科学工作流的最早完成时间，减少了其所需处理机的数目，从而实现了提高资源利用率、缩短科学工作流运行时间的目的。

进一步地，步骤5中，所述任务调度方案满足如下的调度条件：待被调度的任务没有被调度过，且待被调度的任务对应的任务节点没有前驱节点或前驱节点对应的任务已经被调度。

通过上述调度条件，可使生成的任务调度方案中避免重复调度的情况的发生，从而提前了科学工作流任务的最早完成时间。

进一步地，在当前任务被选择后，步骤5还包括判断当前任务对应的当前任务节点的前驱节点个数的步骤：

如果前驱节点个数＝0，则在任务调度方案中，将当前任务分配给云环境中的第一处理机；

如果前驱节点个数＝1且该前驱节点对应的任务已经被调度，则在任务调度方案中，将当前任务单独分配给云环境中的第二处理机，且将所述前驱节点对应的任务所在的处理机上的所有任务复制给当前任务所在的第二处理机；

如果前驱节点个数≥2且所有前驱结点对应的任务已经被调度，则在任务调度方案中，将当前任务节点的所有前驱节点按照自开始节点沿各路径经过各前驱节点到达当前任务节点的总时间进行降序排序，形成父任务调度队列，将当前任务与队首的父任务合并，所述合并为：将队首父任务所在处理机上的所有任务复制到当前任务所在处理机。