[发明专利]一种云环境下代价感知的任务调度方法

说明书

本发明一种云环境下代价感知的任务调度方法涉及分布式数据管理和云计算等应用领域,提出一种通用的任务调度方法，既可以处理交互式任务也可以处理分析类任务，在任务处理过程中同时保证代价最小。包括接收所有用户提交的任务，加入任务队列；将等待队列合并到任务队列，并将等待队列清空；根据任务类型分别计算任务队列中每个任务所需的资源；根据资源需求由多到少对任务队列中所有任务进行排序；对排序好的任务逐个进行调度。对交互式任务和一般分析类任务的调度提供统一的调度算法，提高用户满意度和任务处理的吞吐量。

技术领域

本发明一种云环境下代价感知的任务调度算法涉及分布式数据管理和云计算等应用领域,提出一种通用的任务调度方法，既可以处理交互式任务也可以处理分析类任务，在任务处理过程中同时保证代价最小。

背景技术

大数据和云计算已经成为当今IT产业的新宠，各大IT企业纷纷推出商业化的云平台及其大数据处理方案，诸多研究机构对云计算和大数据的核心技术进行理论研究和应用探索，各国政府也相继将云计算和大数据列入国家规划并投入巨资。目前云计算已经应用到诸多领域，各类开源平台和商业云服务层出不穷，既有私有云服务也有大量的公有云、社区云和混合云等服务。总而言之，云计算的规模越来越大，服务越来越物美价廉。

任务调度是云计算的核心技术之一，负责将多个用户提交的任务或者一个用户提交的多个任务分配到云环境的各个物理服务器上执行，保证用户可以快速获取到正确结果。目前的云环境中任务调度方法通常具有很强的任务依赖性，即针对不同类型的任务设计不同的调度方法。根据任务响应时间可以将用户任务分为交互式任务和一般分析类任务两类，对于交互式任务，设计以提高任务处理时间为目的的任务调度方法，而对于一般的分析类任务则设计以提高系统吞吐量为目标的任务调度方法。根据任务之间的关系，将任务分为简单独立任务和复杂的有依赖关系的任务两类，对于简单独立任务设计各种基于经典NP-hard解决方案的任务调度方法，对于复杂任务则基于DAG图的思想设计相应的调度策略。根据任务请求资源可以将任务分为计算密集型任务、数据密集型任务、网络密集型任务等，对于计算密集型任务调度的思想是调节处理器状态，对于数据密集型任务调度主要利用云平台的副本策略，对于网络密集型任务调度主要目的是减少网络数据传输。

简单任务可以看做是复杂任务的特例，对于简单任务和复杂任务比较容易设计统一的调度方法。计算密集型任务、数据密集型任务、网络密集型任务对节点的资源需求不同，在任务调度过程中将节点的可用资源用多维向量表示即可实现统一的调度方法。然而对于交互式任务和分析类任务需要的资源相同且任务之间无包含关系，但两类任务的优化目标不同，因此目前很少有调度方法可以同时处理交互式任务和分析类任务。

综上所述，当前的云环境中任务调度方法虽然主要以任务处理时间为优化目标，但是对用户满意度的度量并不明确，而且针对交互式任务和分析类任务分别设计不同的调度算法并引入任务优先级等概念，增加了系统复杂程度，同时对任务调度代价并未有明显优化。

发明内容

本发明的目的是针对上述不足之处，提供一种云环境下代价感知的任务调度方法，为交互式任务和分析类任务提供统一的调度框架，以优化用户满意度为目标，同时提高任务处理的吞吐量；解决在云环境中对交互式任务和一般分析类任务的代价感知的调度策略；本申请中的代价指用户提交任务后等待任务处理结果的过程中所花费的时间代价，代价越高用户满意度越低，提高用户满意度即为降低任务处理的代价。

本发明是采取以下技术方案实现的：

一种云环境下代价感知的任务调度算法，包括以下步骤：

1）接收所有用户提交的任务，加入任务队列；

2）将等待队列合并到任务队列，并将等待队列清空；

3）根据任务类型分别计算任务队列中每个任务所需的资源；

4）根据资源需求由多到少对任务队列中所有任务进行排序；