[发明专利]一种多时序任务调度方法和系统

说明书

本发明涉及一种任务调度方法和系统，特别涉及一种多时序任务调度方法和系统。包括以下步骤：采集节点信息，并根据节点信息设定每个节点的运算能力；采集任务信息，并根据任务信息设定每个任务的网格数；根据运算能力大小，将所有节点进行排序；根据任务的网格数多少，将所有任务进行排序；根据每个节点的负载状态，采用贪心算法，按照运算能力强的节点处理网格数大的任务的方式，将任务分配给各个节点。本发明考虑了当前平台上的资源分配及平台内各节点的负载能力和状态，在任务调度时会将计算量大的任务分配在计算能力强的节点上，能够有效避免饥饿状态和系统资源利用率低的问题，提高了整体的运算效率，优化了运算时间。

技术领域

本发明涉及一种任务调度方法和系统，特别涉及一种多时序任务调度方法和系统。

背景技术

在研究长时间序列下空间数据场的处理问题时，尤其是在节点计算能力不对称的情况下，Spark任务调度模式非常有利于提高数据处理效率。Spark中一共包括了两种任务调度算法，一种就是FIFO(先进先出)算法，另一种是Fair(公平调度)算法。FIFO算法是Spark框架下的默认调度算法，该算法的最大特点就是可用性好，原理简单易懂，适应性强。它是专门为单用户的单一类型数据处理作业而设计的一套算法。FIFO的不足之处是先入先出这种类似于排队的方式较为简单，如果排在前面的job的计算量较小，而队列后面的job计算量大时，大计算量的job得不到足够的资源，而处于饥饿的状态，这样极容易造成资源分配的不公平。同时，FIFO是针对单用户的大型批处理作业实现的，如果多用户共同使用这一平台去运行不同种类的作业，由于FIFO对用户不同类型作业需求差异的忽略，则很可能引起因平台整体性能和系统资源利用率低导致的作业执行问题。Fair算法实现了在每个应用程序中，允许多线程同时提交作业，并通过一种等级公平调用器来实现多个作业对集群资源的共享。Fair算法的核心目标是使需求不同的用户在获得资源的机会上是平等的。Fair算法的缺点是没有考虑当前节点的负载水平及其负载状态，这样很可能导致节点实际负载不均衡。如果计算任务的复杂度不同，在公平调度算法下极易造成各个计算节点负载不均衡，影响整体的计算效率。

发明内容

本发明所要解决的技术问题是提供一种多时序任务调度方法和系统，解决了现有技术中FIFO算法或Fair算法分配资源不均从而影响整体计算效率的技术问题。

本发明解决上述技术问题的技术方案如下：一种多时序任务调度方法，包括以下步骤：

步骤1，采集节点信息，并根据节点信息设定每个节点的运算能力；

步骤2，采集任务信息，并根据任务信息设定每个任务的网格数；

步骤3，根据运算能力大小，将所有节点进行排序；

步骤4，根据任务的网格数多少，将所有任务进行排序；

步骤5，根据每个节点的负载状态，采用贪心算法，按照运算能力强的节点处理网格数大的任务的方式，将任务分配给各个节点。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步的，步骤3中，将节点按照运算能力从高到低的顺序进行排序；步骤4中，将任务按照网格数从高到低的顺序进行排序。

进一步的，所述节点为计算机，根据计算机的CPU参数和/或GPU来设定节点的运算能力。

进一步的，步骤5具体为：

步骤501，判断节点个数和任务个数的关系，若节点个数不小于任务个数，则按照运算能力强的节点处理网格数大的任务的方式，将节点和任务一一对应进行计算；

步骤502，若节点个数小于任务个数，则先求取所有任务网格数多少之和与所有节点运算能力之和的比值A，

A为