[发明专利]云环境下虚拟机服务能力感知的大数据工作流调度方法

说明书

本发明涉及大数据的技术领域，特别是涉及一种云环境下虚拟机服务能力感知的大数据工作流调度方法，评估任务对资源的服务能力需求和虚拟机对任务的服务能力保障的度量方法，为大数据并行任务的调度执行提供了必要的参考依据，并提出任务服务能力需求与虚拟机服务能力保障相匹配的服务动态级调度算法；包括以下步骤：一、大数据工作流和云系统建模与假设；二、服务能力的计算；三、大数据工作流服务动态级调度。

技术领域

本发明涉及大数据的技术领域，特别是涉及一种云环境下虚拟机服务能力感知的大数据工作流调度方法。

背景技术

银行业、欺诈检测、医疗卫生、需求预测、科学探索等各大商业和科学领域存在海量大数据需要处理，大数据处理技术在这些行业变得至关重要，大部分大数据应用通常是由许多相互依赖的计算密集型、数据密集型的任务组成。

大数据任务的类型可分为CPU密集型、数据密集型(存在大量的数据分析处理操作)与I/O密集型(传输大量数据给向后继任务)等类型。

Huang等针对云环境资源分布的特点，提出了动态分布式调度算法CASA，该算法中每个调度节点都拥有一个元调度器，用来接收本地用户所提交的任务并且进行任务分配，同时，各个调度节点之间也保持信息共享，以达到节点间负载均衡的目的，Mezmaz等对云环境下的依赖任务，以最小完成时间和最低能耗为调度目标，提出了基于遗传算法和能耗感知的混合调度算法，采用电压动态调整的技术实现能耗优化的目的，以服务质量为中心的调度，在云计算中，用户的QoS要求包括任务的完成响应时间、调度预算、系统的可靠性和可用性等，Johan等为实现云计算任务调度的QoS要求，提出了一种基于粒子群优化的云任务调度和资源分配方法，该方法充分考虑了调度任务的截止时间和调度预算两个QoS约束条件，具有很好的通用性和可伸缩性，针对不同的QoS约束要求，Li等提出了一种基于QoS等级划分的任务调度模型，对于QoS要求较低的应用任务，该策略采用一种优化的Chord算法对其进行调度，确保任意QoS约束要求的应用任务均可以得到一个满意的任务完成时间，以经济为原则和模型的调度，云计算的超大规模及其商业运营模式，使得其经济因素成为重点考虑的调度指标，Wei等针对云服务提供商通常会向用户提供具有不同价格的各种配置组合的虚拟机，提出最小化运行成本同时满足完成截止时间要求的大数据处理工作流调度算法。

针对大数据处理任务的调度，国内外学者也进行了广泛的研究，在云计算环境下，Gaith等提出虚拟机信任感知的大数据任务调度方法，具体包括三个阶段：虚拟机信任级别评定，任务优先级决定，虚拟机信任感知调度，Yanling等提出能耗感知的大数据应用的高效作业调度方法，将能耗感知的公平调度问题建模为多维背包问题，Ruitao等提出云环境下最大化大数据计算吞吐量的大数据传输调度方法，以最小化应用程序的数据检索时间，Feilong等提出云数据中心动态负载均衡的最大化网络吞吐量的大数据应用调度方法，王玢等考虑了输入数据间的关联性以及数据本地性，建立数据、任务及节点三者间的对应关系，以数据迁移代价最小化为性能提升目标，设计优化数据放置策略及调度机制，提出了关联性驱动的大数据处理任务调度方案。

上述文献从不同侧面研究了云环境下的任务调度问题，他们大都假定任务类型是计算密集型，计算资源的计算性能固定，没有考虑任务类型与资源类型的匹配问题，没有考虑如何度量任务与计算的匹配程度，相比于传统的高性能计算、网格计算中的并行任务调度处理，云环境下的大数据并行任务的调度处理更加复杂，传统的并行任务多是计算密集型，而大数据并行任务可能是计算密集型、数据密集型、I/O密集型；传统计算环境中的计算资源性能相对固定，而云计算环境中虚拟机的物理资源动态变化，即虚拟机的性能动态变化；云服务提供商众多，提供的虚拟机的实际性能和他们所宣称的虚拟机的性能往往存在出入；不同配置的虚拟机对不同类型任务处理的效果差异巨大。

发明内容