[发明专利]多云环境下基于实例自适应分配整合的工作流组调度方法

说明书

本发明公开多云环境下基于实例自适应分配整合的工作流组调度方法，通过预处理手段对工作流任务进行压缩，减少算法的执行时间；再设计一种基于实例执行性能的任务截止日期动态划分方法，从单工作流局部层面提高执行实例的利用率；并基于当前工作流组的性能需求，动态分配并整合相应的执行实例资源，从全局角度提高执行实例利用率，减少成本支出；最后，按照最短截止日期优先的原则，动态调度任务集到对应的实例上执行，保证各个任务在其对应子截止日期前被执行完成。本发明利用本方法同时从局部和全局两种层面分别对带截止日期工作流组优化调度和实例自适应分配整合展开深入研究，在满足工作流组性能需求的同时提高资源利用率，降低执行成本支出。

技术领域

本发明涉及并行和分布式高性能计算领域，尤其涉及多云环境下基于实例自适应分配整合的工作流组调度方法。

背景技术

云环境下实例自适应自适应分配整合调度机制需要平衡好工作流组性能需求和系统成本支出。面对不可预测到达的工作流组，调度机制需要保证提供工作流组在对应截止日期前完成的最少实例资源量，并将工作流的任务调度到相应的实例资源上执行，同时在实例资源量供应过剩的情况下及时关闭多余实例，减少成本支出。多云环境下，各个云服务提供商提供多种不同类型的实例资源，每种实例类型的要价机制和执行性能均存在差异。云环境下的虚拟机实例需要一定的启动时间才能执行对应任务，其是按执行时间区间进行费用收取，所以立刻关闭正在执行的空闲虚拟机实例并不能达到节省成本支出的效果。动态多云环境的独有特征和工作流自身的复杂依赖结构给带截止日期约束工作流组的在线优化调度和执行实例自适应分配整合问题带来巨大挑战。

当前许多云服务提供商为终端用户提供自适应调整执行实例资源量的应用编程接口(Application Programming Interface,API)，方便用户在执行应用过程中动态调整所需资源量，减少执行代价。当前的云服务提供商，如AWS和RightScale，主要通过提供基于调度缩放和规则缩放两种机制来自适应调整执行实例资源量。基于调度缩放的自适应资源调整机制允许用户在某个时间段对执行实例资源进行添加或删除，如在每天的8:00到17:00之间，为用户提供20个高计算性能虚拟机实例，而其他时间段则仅提供5个高性能虚拟机实例。基于规则缩放的自适应资源调整机制则允许用户定义资源调整触发机制和措施规则，如当执行实例的CPU平均利用率超过80％时，则立刻添加新的执行实例；当CPU平均利用率低于20％，则迁移其中利用率最低实例上的任务，并关闭该执行实例。当用户可以预知工作流负载情况和到达规律时，以上两种资源缩放机制将为实例自适应分配整合提供便利。然而，现实环境下工作流组的到达时间和性能需求并不确定，因此需要一种动态环境下的资源缩放机制，在保证不确定工作流组性能需求前提下，自适应分配整合对应执行实例资源。

针对带截止日期约束工作流的调度问题，目前在云环境下的研究工作已陆续展开。Abrishami等人扩展传统网格环境下基于截止日期约束的工作流调度算法，该扩展方法是基于IaaS云环境并设计了两种新的云环境调度算法IC-PCP和IC-PCPD2，新算法考虑云计算的主要特征，如按需资源调配，均质网络环境和按区间要价的定价模式等，他们的目标是在用户规定的截止日期前完成工作流调度的同时最小化工作流的执行成本，该方法的目的与本发明工作相似，但其仅考虑单一的工作流调度方案，并未对不确定工作流组的调度工作深入探讨。Sakellariou等人在网格环境下提出的基于预算限制的单一工作流代价驱动GAIN调度算法，该算法利用最高性价比分配策略和逐步逼近地方式调整分配方案，该方法对本发明的截止日期分配过程有一定的启发作用。Mao和Humphrey考虑带截止日期约束工作流组的代价优化调度问题，提出一种自适应资源缩放方法，可以有效的降低执行实例成本支出，但其主要基于单云环境下的任务调度分配，并未考虑多云环境下的资源分配和任务调度问题。Malawski等人设计基于预算和截止日期双约束的工作流组静态和动态调度算法，其考虑到工作流中任务执行时间的不确定性，虚拟机启动的延时性等因素，利用关键的工作流准入技术在双约束前提下保障工作流组的完成率，该工作对本发明工作流组调度过程中任务执行时间和虚拟机启动延时因素的考虑具有一定借鉴作用，但其仅考虑一种虚拟机实例类型，未对多云环境下的多类型实例展开讨论。