[发明专利]一种工作流调度方法与装置

说明书

本发明公开了一种工作流调度方法与装置。本发明通过寻找关键路径和最短路径，为工作流的各个模块分配合适的虚拟机和带宽；通过关键路径和最短路径将工作流的全部模块分为两类，在未超过截止时间的情况下，先对A类模块分配的虚拟机进行降级，若这些虚拟机已经是性能最差且时间剩余，则继续对B类模块虚拟机进行降级，直至超过截止时间，然后用同样的降级方式选择合适的带宽。这样不仅能够确保工作流能在规定时间内完成处理。

技术领域

本发明属于工作流技术领域，涉及一种在多云环境中截止时间约束下的工作流调度方法。

背景技术

近年来，由于云计算的虚拟化、高可靠性以及高可扩展性，使云计算得到广泛的应用。如今，越来越多的科学应用程序使用工作流技术来管理和执行科学创新过程中的数据生成、合成、可视化和分析。在某种程度上说，科学工作流已经成为各个领域用来计算和处理数据的一种有效方法。

对于某些数据来说，需要在一定时间内进行计算分析，一旦超过这个时间限制，那么这些数据就会失去价值，比如天气预报。如何在规定时间内完成大量的计算任务，是一个亟待解决的问题。随着数据量的增大，传统的单个云环境可能无法胜任如此艰巨的任务。多个云环境可提供更多的虚拟资源来进行快速计算处理，被公认是一种有效的解决方案。在多云环境中，可根据工作流的各个任务分配不同的虚拟机使数据快速被处理。多云环境相比单个云环境，在资源方面具有明显优势，因此单个云环境到多云环境是一个自然的趋势。

现有的工作流任务调度的方法大多只是考虑多个云环境之间的数据传输，而针对在截止时间约束下的工作流调度策略，忽略了I/O传输，云间带宽选择，以及数据的存储要求，没有充分考虑到各个方面，很难适应在一定时间内及时完成计算处理大规模数据的要求。

发明内容

针对现有技术的缺陷或不足，本发明的目的是一种工作流调度方法与装置。

本发明提供的工作流调度方法包括：

(1)给工作流G_w(V_w,E_w)中每个模块分配性能最优的虚拟机类型，并且所分配性能最优的虚拟机类型同时满足所有模块的数据存储要求，V_w为模块集合，E_w为所有模块依赖关系的集合；

(2)计算各个模块采用当前各自所分配分虚拟机类型的当前运行时间，其中当前运行时间最大的模块所在路径为关键路径；计算工作流中从起始模块到结束模块的当前完成时间最短路径；工作流中属于最短路径且不属于关键路径上的模块为A类模块，其余模块为B类模块；

(3)比较采用当前所分配虚拟机类型的当前总运行时间与截止时间的大小；若当前总运行时间大于等于截止时间，则完成分配；若当前总执行时间小于截止时间，则执行步骤(4)；所述的当前总运行时间为关键路径上各模块的当前运行时间之和；

(4)对A类模块各自所分配的虚拟机类型进行性能降级，每降级一次比较工作流采用当前所分配虚拟机类型的当前总运行时间与截止时间的大小；

(5)若当前总运行时间小于截止时间时，重复执行步骤(4)直至当前总运行时间大于等于截止时间；若当前总运行时间大于截止时间时，则对经过当前次降级处理的模块重新分配上一次分配的虚拟机类别并完成分配；若当前总运行时间等于截止时间，则完成分配；

(6)给工作流选择性能最好的带宽；

(7)比较当前总完成时间与截止时间大小，若当前总完成时间小于截止时间，则执行步骤(8)；若当前总完成时间等于截止，则完成选择；所述总完成时间为工作流的关键路径上模块的总运行时间和关键路径上模块的总传输时间之和；