[发明专利]基于分布式的任务优先级调度方法和系统及存储介质

说明书

本发明提供了一种基于分布式的任务优先级调度方法和系统，依据先来先服务规则，通过第一公式，确定任务的初始优先级；通过任务的时效性要求，将任务分为即时类任务、非即时类任务两种任务类型；对即时类任务，采用第二公式计算任务优先级，得到第一综合优先级；对非即时类任务，采用第三公式计算任务优先级，得到第二综合优先级；对即时类任务，采用分布式任务资源管理调度框架Yarn进行调度；对非即时类任务，采用分布式任务流调度框架Oozie调度。采用动态优先级算法与分布式任务调度框架结合，减少任务的额定等待时间，提高任务优先级的优先级计算时间，提高任务调度的性能和用户体验感。

技术领域

本发明涉及任务调度技术领域，具体地，涉及一种基于分布式的任务优先级调度方法和系统及存储介质。

背景技术

对于规模化的应用来说，调度系统已经是必不可少的组成部分，尤其在基于数据分析的后台应用数据急剧增长的当下，健壮的调度任务管理已经是非常重要的一个环节，因此分析研究调度系统的设计对于日常的开发与运维具有比较重要的意义。

随着企业网站的不断运营发展和每天所面临着的越来越多需要处理的数据，再加上以往所遗留下来的历史数据，很多企业往往难以有一个针对于处理这些数据的高效任务调度的解决方案，需要一种对这些要处理的数据进行分析形成一个可行性高的完美任务调度解决方案，对比研究传统的任务优先级调度算法，主要存在以下几点不足：1)由于作业任务中可能同时包含长作业和短作业，这种情况下常常导致一种任务很久得不到执行而另一种任务处于长期等待状态，最后两者都无法得到一个很好的执行，达不到一个长短作业兼顾的效果。2)优先级任务调度方案普遍没有应用于分布式架构，这样在任务量大的情况下就很难再根据优先级对任务进行调度分配了。在执行调度的任务过程中，受单个节点故障的影响，由于没有应用针对解决此问题的一个框架，往往会导致执行任务的数据丢失。3)大量的任务堆积在一起不能有一个良好的分类分配策略，而且任务的执行消耗时间也会有很大不同，这样无法满足对整个系统架构的资源充分利用。

YARN框架是Hadoop生态系统的一个资源调度框架，在大数据分布式系统的任务调度中起着很重要的作用，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。Oozie是用于Hadoop平台的一种工作流调度引擎。该框架使用Oozie协调器促进了相互依赖的重复工作之间的协调，可以使用预定的时间或数据可用性来触发Apache Oozie。可以使用Oozie bundle系统提交或维护一组协调应用程序；两者结合起来在分布式系统应用中对系统运行的效率有着显著的提高。《电子学报》2016,44(5):1017-1024出版的《HadoopYARN资源分配与调度的研究》一文深入分析了Hadoop YARN的资源分配与调度机制,从作业调度和任务调度两个层次考虑,分别研究了Hadoop资源调度机制与推测执行机制,针对其中存在的资源分配不合理和预测任务完成时间不准确的问题,提出了解决办法。但是文中并未设计到具体的任务优先级调度。

专利文献CN105069250A公开了一种基于调度粒度的任务优先级计算方法，能够降低调度频率，减少调度消耗时间。包括：(1)确定任务优先级；(2)设定调度粒度；(3)任务优先级计算细化。在任务调度优先级计算时分析了调度粒度对任务调度的影响，并结合任务等待时间和任务间通信开销等因素，确定任务优先级，从而能够有效的降低调度频率，减少任务调度过程中的消耗。但是上述专利文献在调度效率上存在一定缺陷。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于分布式的任务优先级调度方法和系统及存储介质。

根据本发明提供的一种基于分布式的任务优先级调度方法，包括：确定任务初始优先级步骤：依据先来先服务规则，通过第一公式，确定任务的初始优先级；确定任务类型步骤：通过任务的时效性要求，将任务分为即时类任务、非即时类任务两种任务类型；动态计算优先级步骤：对即时类任务，采用第二公式计算任务优先级，得到第一综合优先级；对非即时类任务，采用第三公式计算任务优先级，得到第二综合优先级。